安防存储中的新RAID技术

近年来,随着信息技术的不断发展以及安防产品与系统的普及应用,安防行业的数据安全问题不断受到人们的重视。随着高清监控的快速发展,平安城市、智慧城市等大型项目的大量铺开,数据量不断增大,随之而带来的大数据下的存储问题及数据安全问题,逐渐成为视频网路监控领域里新的课题。

安放数据的存储伴随着安防技术和存储技术共同发展。先后经历里模拟前端+DVR存储、模拟前端+DVS/DVR+网络存储、网络前端+NVR、网络前端+网络存储等阶段。现在随着网络带宽的提高,使得高清应用越来越普遍,进而对安防存储系统提出了更高的要求。

一、安防数据存储新需求

当今安防发展特点可以概括为以下三点:

1)高清化

l

高线模拟:600/650/700线模拟摄像机+高分辨率DVR

l

数字高清:SDI/HDSDI,HDCCTV

l

高清网络:130万/200万/500万IPC+HDVR+NVR,4K应用

2)智能化

l

从事后追责,被动应用过渡到事先防控、主动防御,进一步解放人力、提高效率

l

从技术层面的智能分析进入实战应用用阶段,如周界防范、人员追踪等,已经在公安、交通、金融、司法等行业开始使用

3)融合应用

从单系统独立使用进入多系统平台融合使用阶段,主要表现为

l

大容量视频信息汇集、共享

l

安防系统内部整合,对接上层业务管理系统

l

多系统融合,比如应急联动、紧急布控、公安消防等

l

安防与IT技术高度融合

根据当前安防系统新需求,对安防存储系统的要求可以总结如下图。

二、安防存储新技术:从底层保护数据安全

从以上分析可知,安防系统已经步入实战阶段,而智能分析、主动防御、融合应用的实战操作必须建立在可靠的监控数据存储系统上。这里介绍两种RAID技术,该技术可以从底层保证数据的安全存储。

1、VRAID(VedioRAID)技术

RAID技术已经很熟悉,属于磁盘阵列的基础技术,经过不断发展,现在已经有了从RAID 0 到RAID7八种基本的RAID级别和类似RAID 10、RAID 50的二维RAID。不同的RAID级别可以为用户提供相应的RAID性能和数据安全性。但任何一种RAID技术都有故障盘容忍限度,即坏盘数量达到一定数量后整个RAID组失效,其中的数据全部丢失。例如,传统RAID5中,一块硬盘损坏时,RAID通过冗余机制可以保证数据不丢失,但当硬盘损坏2块以上,很不幸RAID5已经不能帮你恢复硬盘数据,一般来说只好和你的所有数据说bye bye了!

这里介绍的VRAID技术是一种面向安防应用的新RAID技术(海康威视针对视频应用推出的全新技术)。VRAID技术可以有效的解决传统RAID中多(2或以上)块硬盘损坏后,整个RAID组中数据完全丢失的问题。即VRAID中坏2块盘以上(理想情况下只要有1块可用盘即可),剩余好盘中的数据仍然可读,同时新数据可持续写入。

技术原理:VRAID的实现是立足于存储设备底层不同于传统文件系统的流媒体数据管理结构和RAID优化技术来。当VRAID中多块盘损坏时,在流媒体数据管理结构下,好盘上各个条带中的视频数据仍可独立播放;播放到坏盘条带时,直接自动跳过并且自然播放下一个可用条带上的数据,保证录像画面播放流畅。同时新数据传输过来时,仍然可写。

2、网络RAID技术

传统RAID受限于硬盘数量,在数据容量剧增的年代无法满足企业对资源统一灵活调配的需求。存储智能高效的发展趋势要求底层的数据分布架构必须具有高度灵活性和扩展性,随着硬盘容量的增大,以硬盘为单位对数据进行管理也显得越来越力不从心。一般的磁盘阵列只能在同一个物理节点内部做RAID,且一个硬盘只能位于一个RAID组内,当发生控制器宕机或者磁盘损坏,这时所有数据就都都丢失了,这是传统的磁盘阵列RAID可用性方面比较大的劣势。

网络RAID是一种Scale out技术,通过网络通讯可以在不同的物理节点之间建立RAID。并且组成RAID的基本单元不再是整个硬盘,而是每个硬盘Chunk块,一个硬盘可以处于多个RAID组中。当某个物理节点宕机后,整个系统的数据可以通过其他物理节点恢复出来;单个硬盘故障时,可以由多个磁盘共同参与重构,重构过程可在分钟级内完成。

技术原理:

1)把各个物理节点的所有硬盘划分为Chunk块

2)基于不同物理节点的硬盘Chunk块创建RAID

整个RAID是基于Chunk来建立,Chunk来自不同的物理节点的磁盘。整个RAID组可以由所有物理节点(一块或多块硬盘)共同构建。

第一组RAID:3+1——3个有效数据,1个校验数据

第二组RAID:3+2——3个有效数据,2个校验数据

3)单块硬盘故障及处理

一块硬盘可以位于多组RAID中,因此当单块硬盘损坏时,会有多组RAID共同进行重构计算,极限情况下所有硬盘同时参与重构计算,速度比普通RAID时大幅提高,可达分钟甚至秒级。

4)整个物理节点故障及处理

假设第三台设备故障。普通RAID时,整台设备的数据丢失。

在网络RAID中,对各RAID的影响如下图。每组RAID中只有部分Chunk数据丢失,通过该RAID中的剩余数据块,是可以完全恢复的。

网络RAID虽然称为RAID,实际是分布式存储技术。可以解决普通RAID下重构时间长,多个存储节点堆砌应用时的管理负担大,无法满足热点需求,节点故障时数据丢失等问题,消除更大的系统可用性风险。

在网络RAID中,不再以整盘作为管理单位和校验单位,磁盘分段(Chunk)管理,化整为零,提供精细化管理、高级别容错和高性能数据恢复,为数据存储提供高可靠性。

在网络RAID中,一般磁盘错误,可以在秒级重构完成;磁盘失效时,大量磁盘参与重构,加速重构过程数十倍;存储资源跨节点分配,管理更简单,更重要的是整个节点故障时,可保证数据不丢失。高度容错设计,无论是坏盘还是节点更换和扩容,均能简单应对和实施,从而提升整体存储方案的持续可用性。

三、安防数据存储未来

安防存储的发展必定是底层技术、物理设备、系统架构的协同发展,单独依赖任何一点都无法满足需求。

对于通常的大中小型监控系统,无需存储服务器的视频流直写存储架构+面向安防的VRAID技术可以既可以简化系统部署,有充分保护用户的数据安全。同时随着GB/T28181标准的推行,采用标准流媒体协议的视频流直写存储方案也将越来越受市场青睐。

对于特大型监控系统(上万路视频前端),要求达到PB级的存储容量,靠单设备堆叠和普通文件系统是无法提供安全、高效的应用保证的,必须有虚拟化、集群化和离散存储的解决方案。针对安防应用的视频云存储技术采用云计算理念,底层配合网络RAID技术可以为用户提供虚拟化、集群化、一体化的便捷云存储服务。

安防云存储系统特征:
1)

虚拟化技术全面整合存储容量,按需分配且能够灵活调整大小。
2)

前端通过视频流协议直写云存储,节省用户投资。
3)

视频流通过离散算法均衡切片,以集群响应方式提供数据并发服务。
4)

底层采用网络RAID技术,多层次保护用户数据安全。
5)

全系统集群工作模式,保证各设备间业务实时负载均衡,提高设备利用率。

全域一体化索引技术,全面提升查询速率,达到秒级响应。

安防云存储解决了当前安防行业已经开始面临海量数据存储的管理和应用问题,2012年到2013年,海康威视已经有多个平安城市项目实际应用成功,并且通过用户实际使用取得了非常成功的视频业务应用体验。未来几年,大中型安防项目建设中,安防云存储会占据视频监控存储方案的主力位置,相信,安防云存储必然很快发展成为视频监控存储市场的主流解决方案,也会是首选的最佳方案。

安防存储中的新RAID技术

近年来,随着信息技术的不断发展以及安防产品与系统的普及应用,安防行业的数据安全问题不断受到人们的重视。随着高清监控的快速发展,平安城市、智慧城市等大型项目的大量铺开,数据量不断增大,随之而带来的大数据下的存储问题及数据安全问题,逐渐成为视频网路监控领域里新的课题。

安放数据的存储伴随着安防技术和存储技术共同发展。先后经历里模拟前端+DVR存储、模拟前端+DVS/DVR+网络存储、网络前端+NVR、网络前端+网络存储等阶段。现在随着网络带宽的提高,使得高清应用越来越普遍,进而对安防存储系统提出了更高的要求。

一、安防数据存储新需求

当今安防发展特点可以概括为以下三点:

1)高清化

l

高线模拟:600/650/700线模拟摄像机+高分辨率DVR

l

数字高清:SDI/HDSDI,HDCCTV

l

高清网络:130万/200万/500万IPC+HDVR+NVR,4K应用

2)智能化

l

从事后追责,被动应用过渡到事先防控、主动防御,进一步解放人力、提高效率

l

从技术层面的智能分析进入实战应用用阶段,如周界防范、人员追踪等,已经在公安、交通、金融、司法等行业开始使用

3)融合应用

从单系统独立使用进入多系统平台融合使用阶段,主要表现为

l

大容量视频信息汇集、共享

l

安防系统内部整合,对接上层业务管理系统

l

多系统融合,比如应急联动、紧急布控、公安消防等

l

安防与IT技术高度融合

根据当前安防系统新需求,对安防存储系统的要求可以总结如下图。

二、安防存储新技术:从底层保护数据安全

从以上分析可知,安防系统已经步入实战阶段,而智能分析、主动防御、融合应用的实战操作必须建立在可靠的监控数据存储系统上。这里介绍两种RAID技术,该技术可以从底层保证数据的安全存储。

1、VRAID(VedioRAID)技术

RAID技术已经很熟悉,属于磁盘阵列的基础技术,经过不断发展,现在已经有了从RAID 0 到RAID7八种基本的RAID级别和类似RAID 10、RAID 50的二维RAID。不同的RAID级别可以为用户提供相应的RAID性能和数据安全性。但任何一种RAID技术都有故障盘容忍限度,即坏盘数量达到一定数量后整个RAID组失效,其中的数据全部丢失。例如,传统RAID5中,一块硬盘损坏时,RAID通过冗余机制可以保证数据不丢失,但当硬盘损坏2块以上,很不幸RAID5已经不能帮你恢复硬盘数据,一般来说只好和你的所有数据说bye bye了!

这里介绍的VRAID技术是一种面向安防应用的新RAID技术(海康威视针对视频应用推出的全新技术)。VRAID技术可以有效的解决传统RAID中多(2或以上)块硬盘损坏后,整个RAID组中数据完全丢失的问题。即VRAID中坏2块盘以上(理想情况下只要有1块可用盘即可),剩余好盘中的数据仍然可读,同时新数据可持续写入。

技术原理:VRAID的实现是立足于存储设备底层不同于传统文件系统的流媒体数据管理结构和RAID优化技术来。当VRAID中多块盘损坏时,在流媒体数据管理结构下,好盘上各个条带中的视频数据仍可独立播放;播放到坏盘条带时,直接自动跳过并且自然播放下一个可用条带上的数据,保证录像画面播放流畅。同时新数据传输过来时,仍然可写。

2、网络RAID技术

传统RAID受限于硬盘数量,在数据容量剧增的年代无法满足企业对资源统一灵活调配的需求。存储智能高效的发展趋势要求底层的数据分布架构必须具有高度灵活性和扩展性,随着硬盘容量的增大,以硬盘为单位对数据进行管理也显得越来越力不从心。一般的磁盘阵列只能在同一个物理节点内部做RAID,且一个硬盘只能位于一个RAID组内,当发生控制器宕机或者磁盘损坏,这时所有数据就都都丢失了,这是传统的磁盘阵列RAID可用性方面比较大的劣势。

网络RAID是一种Scale out技术,通过网络通讯可以在不同的物理节点之间建立RAID。并且组成RAID的基本单元不再是整个硬盘,而是每个硬盘Chunk块,一个硬盘可以处于多个RAID组中。当某个物理节点宕机后,整个系统的数据可以通过其他物理节点恢复出来;单个硬盘故障时,可以由多个磁盘共同参与重构,重构过程可在分钟级内完成。

技术原理:

1)把各个物理节点的所有硬盘划分为Chunk块

2)基于不同物理节点的硬盘Chunk块创建RAID

整个RAID是基于Chunk来建立,Chunk来自不同的物理节点的磁盘。整个RAID组可以由所有物理节点(一块或多块硬盘)共同构建。

第一组RAID:3+1——3个有效数据,1个校验数据

第二组RAID:3+2——3个有效数据,2个校验数据

3)单块硬盘故障及处理

一块硬盘可以位于多组RAID中,因此当单块硬盘损坏时,会有多组RAID共同进行重构计算,极限情况下所有硬盘同时参与重构计算,速度比普通RAID时大幅提高,可达分钟甚至秒级。

4)整个物理节点故障及处理

假设第三台设备故障。普通RAID时,整台设备的数据丢失。

在网络RAID中,对各RAID的影响如下图。每组RAID中只有部分Chunk数据丢失,通过该RAID中的剩余数据块,是可以完全恢复的。

网络RAID虽然称为RAID,实际是分布式存储技术。可以解决普通RAID下重构时间长,多个存储节点堆砌应用时的管理负担大,无法满足热点需求,节点故障时数据丢失等问题,消除更大的系统可用性风险。

在网络RAID中,不再以整盘作为管理单位和校验单位,磁盘分段(Chunk)管理,化整为零,提供精细化管理、高级别容错和高性能数据恢复,为数据存储提供高可靠性。

在网络RAID中,一般磁盘错误,可以在秒级重构完成;磁盘失效时,大量磁盘参与重构,加速重构过程数十倍;存储资源跨节点分配,管理更简单,更重要的是整个节点故障时,可保证数据不丢失。高度容错设计,无论是坏盘还是节点更换和扩容,均能简单应对和实施,从而提升整体存储方案的持续可用性。

三、安防数据存储未来

安防存储的发展必定是底层技术、物理设备、系统架构的协同发展,单独依赖任何一点都无法满足需求。

对于通常的大中小型监控系统,无需存储服务器的视频流直写存储架构+面向安防的VRAID技术可以既可以简化系统部署,有充分保护用户的数据安全。同时随着GB/T28181标准的推行,采用标准流媒体协议的视频流直写存储方案也将越来越受市场青睐。

对于特大型监控系统(上万路视频前端),要求达到PB级的存储容量,靠单设备堆叠和普通文件系统是无法提供安全、高效的应用保证的,必须有虚拟化、集群化和离散存储的解决方案。针对安防应用的视频云存储技术采用云计算理念,底层配合网络RAID技术可以为用户提供虚拟化、集群化、一体化的便捷云存储服务。

安防云存储系统特征:
1)

虚拟化技术全面整合存储容量,按需分配且能够灵活调整大小。
2)

前端通过视频流协议直写云存储,节省用户投资。
3)

视频流通过离散算法均衡切片,以集群响应方式提供数据并发服务。
4)

底层采用网络RAID技术,多层次保护用户数据安全。
5)

全系统集群工作模式,保证各设备间业务实时负载均衡,提高设备利用率。

全域一体化索引技术,全面提升查询速率,达到秒级响应。

安防云存储解决了当前安防行业已经开始面临海量数据存储的管理和应用问题,2012年到2013年,海康威视已经有多个平安城市项目实际应用成功,并且通过用户实际使用取得了非常成功的视频业务应用体验。未来几年,大中型安防项目建设中,安防云存储会占据视频监控存储方案的主力位置,相信,安防云存储必然很快发展成为视频监控存储市场的主流解决方案,也会是首选的最佳方案。

裸奔的数字劳工 用户的隐私问题难以保障
从新闻线索的自动采集,新闻信息机器写作,到新闻资讯的精准分发,都依赖于海量的用户数据抓取。
应用于个人的传感器在进行信息采集时,通过监测人的行为并生成数据,存在个人数据非法收集、过度分析的风险。
人们的信息传播活动看似是用户基于自身的使用与满足来对大众媒体进行选择性接触,而实际上是网络新媒体将抓取的数据经过算法分析,从而获得了受众阅读偏好和兴趣的把握,最终实现新闻信息的精准分发。在这样一套新闻分发流程下,人们在为互联网企业打工贡献流量的同时也不幸沦为了“隐私劳工”,如果不贩卖自己的隐私数据,就难以享
受技术的福利。我们在智能媒体用算法权力构建的信息茧房里快乐的裸奔,不但被限制了信息接收,造成信息的窄化,我们的认知也无形中被算法框定,这也是一种需求满足上的隐形‘’欺骗‘’。


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 一般,书没看几页,下午茶没有好吃的蛋糕,明天外卖点蛋糕,尽量午睡一下[怒] 明天要过的充实满意一点哦!点菜时:点这么多留点明天早上吃吧吃饭时完全留不住[微笑]机
  • 奥迪“高端路线”奏效欲放弃小型车 如何定位在华三家合资车企成新课题
  • 每股收益:0.98元每股净资产:10.12元机构持股比例(%):69.55机构持股市值(元):253.23亿入场信号:【mtm金叉】;【行情收盘价上穿5日】;【
  • 可能对于不爱快餐的人来说,快餐只是应急时用以饱腹的无奈选择罢了,而对于我来说,快餐是经常不吃就会想的食物。但是,随着年龄的增长,即便吃快餐,也会把套餐中的碳酸饮
  • 记录又一次搬家吧这几天忙的没空好好静下来享受一个人的时光告别了住了两年多的地方,彻底开始一个人的独居,又大一岁学会与自己独处空荡荡破旧的小屋收拾一下还是很温馨很
  • 】12月7日凌晨3时40分,三元区吊桥河底下,一年轻女子不慎落水,幸好路人在不河岸边找到两个救生圈,抛向落水女子,正在往下沉的落水女子抓住其一个救生圈,经过近半
  • 仙客来(CP)富含皂苷的块茎提取物对非小细胞肺癌A 549细胞增殖、侵袭和迁移能力的影响,并检测了几种与侵袭迁移相关的microRNAs(MiRNAs)的表达水
  • “与其苦苦追寻失去的东西,还不如好好珍惜自己眼前拥有的东西” 所以,祝你有美好的一天![心]#每日一善# [鲜花]#阳光信用# 每一个平淡的日子都值得尊重
  • 通过这件事来说,鉴对人的判断标准与常人不一样,也可以说是对“美”的评判标准与别人不一样,他跳出普通人惯用的单项思维,他通过老管家的描述中,看到了袒胸露怀的王羲之
  • 【法国研究:新冠感染或导致不育和大脑老化】据《科技日报》巴黎3月22日消息,近日,法国国家健康与医学研究院里尔中心的一项研究结果表明,新冠感染会对人类大脑产生影
  • ”林无隅知道丁霁可能一下子没法接受,却明确告诉了他自己的感情还让丁霁预订了男朋友的位置,超苏的好吗!后面慢慢讲哥哥的故事,说他可能会选择独身主义,再回想起来,这
  • 昨天炸得问我,“如果满分是十分,周五可以打几分”如果生活都用打分来评价的话,好像近期的分数都会很高[羞嗒嗒]每天可以和小可爱的小伙伴一起吃饭吐槽,即将见到这几个
  • #宜兴获批创建农业现代化示范区# 】#点赞宜兴# 近期,农业农村部、财政部、国家发展改革委正式公布首批100个国家级农业现代化示范区创建名单,江苏省睢宁县、东台
  • 他毫不私藏,将配方倾囊相授,教出了众多弟子,后来还诞生了以源来轩的面条为样板的制面厂。也有不少狂热粉丝“今天酱油味,明天盐味”一天去一处,对满古登和坂内雨露均沾
  • DAY 6(61.5kg)饮食*早:奶粉(朋友推荐的,还不错)*中:黑椒牛柳➕咖喱双拼¥12(我真吃不腻)*晚:鸡胸肉沙拉➕两片面包¥15(轻食真的好好吃,吃完
  • 和达扎实的项目打造功底,正将青岛城市发展与更新的红利真正带给每一位居民,让青岛成为一座真正高含金量的宜居之城。从基建配套、城市更新到人居提升、服务迭代,和达的身
  • 但有一点却颇为一致,地狱专为罪大恶极之人设立,并且,各狱皆有狱主鬼王掌管,日夜受苦,千万亿劫,不闻水饭之名,纵得仙真救度,脱离地狱,犹阵畜生、饿鬼道中,痛苦不堪
  • 】津云  津云新闻讯:3月26日,中海油天津分公司渤中19-6凝析气田一期开发工程项目开工,标志着我国渤海湾首个千亿方大气田开发正式进入工程实施阶段,对保障国家
  • 看完了,我也是89的,出来国企好多年,2017自己谈的都订婚了,也28岁了,结果还被家人作分手了,然后又大海捞针,太难了,喜欢我的我不喜欢,我喜欢的不喜欢我,也
  • 体内湿气重 通过祛湿 他的体重是能减下来的。尿酸高(西翳开的药,吃了作用不大)会痛风。