正在阅读:大数据时代下 海量数据存储技术不容小觑

大数据时代下 海量数据存储技术不容小觑

2017-02-24 10:19:51来源:机房360 编辑:沐子飞 关键词:大数据数据存储数据挖掘阅读量:28859

导读:高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外,对存储容量的需求亦成几何式增长。
  【中国智能制造网 智造快讯】高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外,对存储容量的需求亦成几何式增长。例如: 前端IPC有130W到500W像素,码流也从有2Mbps到8Mbps,而一个130W像素,8Mbps码流的前端,录像一个月就需要2531.3GB,数据量不可小觑。
 
  大数据时代下 海量数据存储技术不容小觑
 
  存储周期方面,现在也有了政府的有力推动。如《中华人民共和国反恐怖主义法》规定采集的视频图像数据保存周期不得少于90天;高人民法院与国家档案局联合发布的《关于人民法院诉讼档案保管期限的规定》更是规定:将法院诉讼档案的保管期限分为、长期、短期三种,根据人民法院诉讼档案的特点,凡属本院审判活动形成的需要长远利用的诉讼档案,划为保管。凡属在相当长的时期内需要查考使用的诉讼档案,划为长期保管,保管时间为60年。凡属在相对较短的时期内需要查考利用的诉讼档案,划为短期保管,保管时间为30年,可以想象,数据量非常之大。
 
  对当前整个安防市场来讲,特别是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展,甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。需要保存的数据也成线性增长,应对如此巨大的数据量,数据存储及客户数据快速有效查询就变得至关重要。某公司一直紧跟行业发展方向,致力于推出更符合用户需求与行业需求的监控/数据中心解决方案。
 
  现有的安防存储模式
 
  1. DVR/NVR前端本地存储
 
  此种模式,一般应用于实施较早项目,使用的是DVR/NVR前端本地存储,随着大数据时代的来临,采用了比较直接的方法,在DVR/NVR直接连接扩展柜来实现容量的扩容。原来系统及原数据保持不变。此种模式由于采用DVR/NVR存储容量相对较小,况且DVR/NVR性能较低,信息孤岛现象严重,无法满足大数据需求。
 
  2. 集中存储模式
 
  客户数据采用磁盘阵列模式。可以采用在存储节点后直接增加扩展柜的模式,随着集群的推出也可以通过增加存储节点来实现容量增加。相对于DVR/NVR模式,容量大大提升,并实现了数据的集中存储,同时支持存储节点间的故障的自动业务接管,大程度上实现了业务数据的完整性。但是随着大数据的来临,后续项目扩容时,需要人为配置设备的负载均衡。一台存储故障后导致设备存储的数据部分中断或者接管设备压力较大,另外考虑到网络延时,可能导致存储数据不完整,数据获取需要人为指定设备数据获取,管理成本较高等。为了设备的负载均衡,空间的虚拟化设备易维护的问题,云存储技术应运而生。
 
  3. 云存储模式
 
  随着云存储技术普及.目前市面大体分为通用云存储(文件云集群NAS )和视频云存储。
 
  通用云存储
 
  通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作,共同对外提供数据存储和业务访问功能。
 
  通用云存储较传统集中基本设备形态不变,故主要部件为:存储服务器(元数据服务器)+磁盘阵列。
 
  通用云存储中许多都是通过优化改造传统IPSAN/NAS存储而演化而来,其通过实现服务器和存储设备集群化管理,存储资源虚拟化,达到分布式数据存储,因其内部数据处理以结构化数据为主。
 
  工作模式:前端摄像机视频数据流经流媒体服务器转发到存储管理服务器集群,后在写入指定的磁盘阵列。视频数据需经过流媒体服务器转发进入存储服务器,一定流媒体故障,系统业务中断,数据存在丢失风险。
 
  通用云存储可以实现存储资源虚拟化,但虚拟化能力有限。通用云存储以结构化的文件系统存储非结构化视频图片数据,视频存储效率低。
 
  基于以上几点,通用云存储产品当前都是面向全行业项目支持,主要作为一款存储方案,即不对安防视频应用做应用支撑.不太适合做安防视频整体的解决方案。
 
  安防专用的视频云存储
 
  基于云架构进行开发,融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术,将网络中各种不同类型的存储设备,通过专业应用软件集合起来协同工作,共同对外提供视频、图片数据存储和业务访问服务。
 
  视频云存储基本组成单元: 云存储管理服务器、云存储存储节点、云存储软件。
 
  视频监控平台根据业务需求为各前端摄像机下发录像计划,视频云存储系统根据当前系统内的业务负载情况分配具体的存储空间,前端摄像机推送视频数据流直写到分配的存储设备上。视频云存储数据传输协议支持主流的流媒体协议(如RTSP/ONVIF/PSIA等)和GB/T28181规范;支持平台直接调取,架构简化而开放,空间自我管理,可独立组网。
 
  对于通用云存储,视频云存储优势如下
 
  相在大型视频监控项目中,视频云存储在视频/图片存储效率优于通用云存储。
 
  在项目预算中,视频云存储较通用云存储能节省部分服务器投入,有成本优势。
 
  视频云存储是专门针对视频安防行业的安全稳定的后端存储解决方案,所以可以支撑大量的视频功能应用,这个也是通用云存储所不具备的。
 
  视频云存储特点如下:
 
  1) 灵活的空间管理
 
  对存储资源进行虚拟化整合,提高用户管理效率;
 
  支持存储资源的在线扩展,实现容量与性能的线性增长;
 
  虚拟空间可灵活调整,不但能扩大,同样能缩小;后续产品只需要增加存储节点就能完成容量升级
 
  2) 海量数据的快速检索
 
  采用一体化索引设计,大大提高了查找速度;
 
  深化视频、图片的应用设计,支持I帧信息快速读取;
 

 

我要评论
  • 人工智能+大数据:2025年它们如何塑造企业

    “2025 年商业中的人工智能与大数据”如今已成为竞争优势的代名词。人工智能 (AI) 与大数据的融合正在通过预测分析、个性化服务和自动化运营重塑全球经济的各个领域。
    人工智能大数据
    2025-09-16 10:29:40
  • 中国大数据规模未来5年增速世界第一 全球占比10%

    中国大数据市场表现格外亮眼,预计2029年中国大数据IT支出规模为730.2亿美元,全球占比约10%。
    大数据大数据技术
    2025-09-12 11:44:02
  • 合肥都市圈要素市场化配置综合改革试点实施方案

    发挥安徽省数据交易所枢纽作用,推进数据流通交易,建设合规高效的数据流通交易平台,发挥数据产业促进、交易技术创新、数商生态合作等功能,打造全国一流、特色鲜明的区域性数据交易场所。
    要素市场化配置改革数据挖掘
    2025-09-12 09:37:09
  • 新华三与广东电信深化战略合作 共拓数字经济新蓝海

    多年来广东电信与新华三一直保持着良好的合作关系,取得丰硕成果。期待双方在传统云网合作基础上,共同探索先进算力网络建设,协力深耕粤港澳大湾区数字化沃土。
    数字经济大数据
    2025-07-11 11:40:07
  • 物流智能转型新引擎:DeepSeek+物流

    DeepSeek 物流不仅是技术的革新,更是城市发展的重要推动力。它通过智能化手段提升物流效率、优化资源利用、减少环境影响,并为智慧城市建设提供支撑。未来,随着AI技术的不断进步,物流行业将迎来更深刻的变革。
    物流大数据服务平台
    2025-04-30 10:11:15
  • 2025年4月1日开始施行的重要新规一览

    四月,一系列新规定即将实施,包括《公共安全视频图像信息系统管理条例》、《车联网网络安全异常行为检测机制》等。
    大数据服务平台
    2025-04-02 09:31:36
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了