运用云技术手段存取速度,存取1pb的数据需要多长时

君,已阅读到文档的结尾了呢~~
云计算环境下的内存资源共享技..
扫扫二维码,随身浏览文档
手机或平板扫扫即可继续访问
云计算环境下的内存资源共享技术研究
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由:
将文档分享至:
分享完整地址
文档地址:
粘贴到BBS或博客
flash地址:
支持嵌入FLASH地址的网站使用
html代码:
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布,请您等待!
3秒自动关闭窗口运用“云技术”推进电子数据检验_检察日报社多媒体数字报刊平台
第02版:综合新闻
| 标题导航 |
【中山市检察院】
运用“云技术”推进电子数据检验
朱香山 钟荐轩
&&&&本报讯(记者朱香山 通讯员钟荐轩)为进一步推进电子数据检验工作开展,更好地服务检察办案,广东省中山市检察院在今年4月引进的首套分布式“云龙”电子数据检验系统,已成功检验电子数据检材8宗15件,取得良好的办案效果。据悉,此次引进的“云龙”系统是运用“云技术”成功部署并投入运用的电子数据检验系统,比以往的检验系统运算速度提高10倍以上,并能通过检察专网远程协助办案,实现技术支持和一线办案的紧密衔接,大大提高了工作效率。大华股份大数据安防应用技术初探
  据IDC预测,2020年全球的数据总量将达到35ZB,并以每两年翻一番的速度在急速的增长。大数据时代的数据不仅仅是数据总量的庞大,同时也是种类的庞大。安防行业有着海量的视频、图片数据,一个大型城市每天产生的数据就可以达到1PB,同时还有飞速增长的特征数据,包括卡口过车数据、人脸抓拍数据、报警数据等等。繁多的数据种类、PB级的数据量、低价值密度的视频数据、快速的数据更新处理需求,这些特性都预示着安防行业已经进入大数据时代。    安防大数据的挑战    从安防行业数据处理流程上看,数据经历了采集-&传输-&存储-&处理这几个过程,存储和处理需要大量的服务器,占用了安防系统80%以上的服务器资源,也是安防企业需要重点需要考虑的问题。传统的安防系统架构比较混杂,各个厂家各个时期的设备,各种技术方案,各种平台系统交织在一起,没有清晰的层次,而且都是以业务为中心,数据的存储和处理水平还比较低,发展已经遇到一定瓶颈。云计算和云存储无疑是安防大数据的存储和处理过程最强有力的技术支撑,这两种技术的出发点,就是通过分布式技术,把商业级的计算和存储资源组成一个集群,实现低成本,高可靠,弹性扩展,易于管理和使用的解决方案,替代传统的小型机、关系型数据库、高端磁盘阵列组成的方案。    其中,云计算是一种大数据处理技术,也是一种按使用量付费的模式,它提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池,资源包括网络,服务器,存储,应用软件,服务等类型,这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。云计算通常意味着超大规模、虚拟化。云存储则在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。云存储对使用者来讲,不是指某一个具体的设备或服务器,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,实际上用的是整个云存储系统带来的一种数据访问服务。    按照Gartner技术成熟曲线勾勒的趋势,云计算和云存储技术已经进入了成熟期,互联网巨头已经搭建了各种超大规模的数据中心,并开始影响人们生活的方方面面,而在安防行业的应用才刚刚开始。考虑现有安防系统存在的问题和大数据的涌现,我们认为云计算和云存储技术完全有潜力解决这些问题,帮助企业和用户一起应对大数据的挑战,并实现安防系统的重构。    大数据存储关键技术    随着安防行业的不断发展,日益丰富的信息采集途径,多样化的业务需求,以及各种行业各种外围业务系统,都要求安防云存储系统具有多业务支撑能力,云存储是最好的解决方案。云存储的核心是分布式文件系统,实现统一的命名空间、负载均衡、数据容错、灵活扩展、高性能的读写能力等。云存储可以将所有业务系统的存储模块统一到同一个存储平台上,支撑各种业务需求,提供了高度的数据共享能力,避免了存储和应用的耦合,降低了重复投资的风险。    随着IP化、高清化、智能化的不断演进,系统存储空间需求日益膨胀,存储的可靠性和成本也成为最重要的考量,在这两个方面,用于数据容错的ErasureCode算法都给出了满意的回答,是公认的下一代容错算法机制,可以代替传统的RAID方式和副本方式,一些主流的公有云存储系统都已经开始采用EC算法。EC算法可以让云存储系统容忍多台设备或者多块硬盘的同时损坏,从而大大加强了系统的可靠性,同时可以做到和RAID5,RAID6同一个级别的空间效率。ErasureCode技术在安防行业云存储的应用,意味着更高的数据可靠性,更好的成本控制。    系统规模变大之后,其管理也需要投入很多资源。对于一个有着成千上万台设备的系统而言,配置管理、扩展和出错处理的自动化显得非常重要。云存储系统可以很好的解决此类问题,以EMCIsilon为例,1分钟就可以完成系统扩展,10分钟完成系统初始化安装和配置。出错处理亦是如此,在设备损坏后,云存储可以保证业务不受任何影响,只需将损坏的设备更换掉即可,后台的数据迁移全部由系统自动处理。    在大量数据读写的时候,还需要考虑到系统的性能能否足够支持上层各种数据业务,比如录像,抓图,回放,视频分析等等,特别是视频分析,需要以最快的速度读出原始视频数据,从海量数据中发掘极低密度的价值,最存储系统是一个很大的考验。云存储系统有着天然的带宽聚合的能力。在数据写入时,用户的数据被系统打散之后存在众多的存储节点中,整个系统的网络带宽和磁盘IO都可以得到充分利用。通过带宽聚合带来的高性能,可以实现文件的高速访问,极大提升智能分析等上层业务的数据处理能力。    当前市面上有一些所谓的监控云存储系统,一般都只存储视频或图像业务相关的数据,和业务是紧密耦合的,数据可靠性和访问速度也得不到保证。在旧的时期,这种系统满足了基本的数据存储需求,但长远来看,是无法适应安防大数据的应用需求的。这类系统没有核心的分布式文件系统支持,不是真正的云存储系统,云存储是实现安防大数据有效存储的必由之路。    典型云存储架构    大数据实时处理框架    安防系统有大量的视频图像数据,传统的使用方式都是事后靠人工来查阅,效率极低。安防系统的终极目标应该是及时制止犯罪,实现公共安全,所以需要对数据做到实时处理,甚至能建立预测模型,云计算就是实现这种目标的工具。举几个例子,美国洛杉矶警察局运用云计算技术,对历史卷宗的分析,形成了预测犯罪发生地的模型;微软运用云计算技术,将911的历史数据和监控视频相结合,可以成功预测某地的犯罪。    云计算系统可以划分为IaaS,PaaS,SaaS几个层次。IaaS主要完成了物理资源虚拟化工作,解除了业务和物理设备的关联,使得业务专注于业务本身,将资源管理交给了云计算平台。虚拟化的作用是显而易见的,它可以将业务变得弹性化,可以根据业务需求,虚拟出相应的计算资源给相应的应用。比如某体育馆有演唱会,即可对体育馆周边的视频数据进行重点智能化分析,白天可对交通十字路口的视频数据实时处理,晚上则可重点处理娱乐场所周边的视频数据。    但是,IaaS只是一个基础,安防行业云计算的核心价值体现在SaaS层。它需要按照分布式的思维,重新实现了安防大数据处理的业务逻辑,一方面要对业务进行解构,另一方要和底层的IaaS,PaaS紧密结合,形成相对垂直的系统形态。在云计算服务化之后,还可以体现出很好的规模效应。比如,目前的交通系统,由于通信系统和发布系统一般都是独立的专用系统,成本高并且整个系统相对封闭,影响了智能交通系统的普及。采用云计算模式以后,对于一些周边地区而言,只需要租用相应的智能交通云计算服务即可。这样就可以大大降低了智能交通系统的建设门槛,有利于智能交通系统的普及。随着更多用户的加入,进一步摊薄系统的建设成本,成本的降低又会带来更多的用户,通过这种良性循环,就可以加快智能交通系统的普及。    在多中安防大数据处理业务形态中,智能交通是安防大数据是目前比较热门的方向。一个大型城市3个月的过车历史记录就达到1800亿条,每天20亿条记录。如此庞大的数据量给传统的数据存储和分析计算都来了巨大的压力。传统系统难以支撑,容量有限,处理速度有限,扩展困难。云计算系统可以很好的解决这个问题,实现性能和设备数量线性扩展,从而实现了千亿级数据秒级查询的能力。这种高速检索能力,给刑侦、交通服务都带了巨大的好处,使得类似套牌车等大数据量查询运算的应用变得有可能。    典型的大数据实时分析系统    不管是何种安防业务,其大数据的处理流程是比较类似的,可以提炼出如图中所描述的处理框架。首先通过云存储将大量的图片、视频等非结构化数据存储起来,并提供统一的访问形式,数据共享的能力。然后运用云计算的视频摘要分析能力,从视频图像数据中提取人和车等元数据信息,变成结构化数据存储在分布式数据库中。通过快速检索技术,可以提供秒级检索能力,为实时决策提供数据支撑。通过离线分析在结构化数据上进行数据挖掘,将数据进行聚类,并最终形成数据模型,对未来的事情进行预测。同时云计算的实时计算又能根据模型来提供实时告警。以上就是安防大数据完整的数据流。(文/浙江大华技术股份有限公司研发中心云计算产品总监王海丰)
@中国安防展览网AFzhan
扫一扫,官方微博互动多
微信号:AFzhan
扫一扫,安防讯息尽收眼底
全年征稿 / 资讯合作
联系邮箱:
更多相关信息
版权与免责声明
①凡本网注明"来源:中国安防展览网"的所有作品,版权均属于中国安防展览网,转载请必须注明
中国安防展览网。违反者本网将追究相关法律责任。
②企业发布的公司新闻、技术文章、资料下载等内容,如涉及侵权、违规遭投诉的,一律由发布企业
自行承担责任,本网有权删除内容并追溯责任。
③本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内
容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,
必须保留本网注明的作品来源,并自负版权等法律责任。
④如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。
免费注册后,你可以
了解安防行业更多资讯
查看安防行业供求信息
凸显安防行业自身价值
想快速被买家找到吗
只需要发布一条商机,
被买家找到的机会高达
90%!还等什么?
高清视频监控在智通交通领域的应用非常广泛。由于高清视频监控是智能交通系统工程
腾讯云开放优图技术 加速智能安防发展
WiFi技术未来有哪些发展方向?不止5G频谱
走进网络机顶盒芯片世界 探索“芯”发现
改善电源管理 从接口IC芯片及智能化入手
终于有人讲透了芯片是什么
如何解决物联网(IoT)设备充电难题?
笔者告诉你如何区分网线的好坏
综合布线系统维护管理五大注意要点
专访四川长虹副董事长、美菱电器董事长刘体斌“不在沉默中爆发,就在沉默中灭亡。
从手机到服务器 高通在物联网领域要唱“大戏”
DT时代 看安防大佬ZNV中兴力维如何实现转型升级
海康威视:安防大数据时代的变革与创新
厦门信息集团张恒江:构建智慧平台 实现惠民实效
博世陈玉东:100亿欧元智能家居市场大有可为
斑点猫吴太兵:安全 智能家居核心需求
“国家队”一路领跑行业 董事长于征谈未来走向
需求与优势是智能家居企业发展之本
继&五城特装&巡展河北石家庄站&市场高反
  2010年我国&RFID产业&预计将达120亿元;红
  &江西省计算机用户协会&成为推动江西信息化
  回顾展望-2015安防市场利弊分析;全国人民都在看 安防也
  百亿海康引领安防视界的力量;大华股份与美国FLIR携手发
中国国际社会公共安全产品博览会(Security China)是经中华
2016第十五届中国(青岛)国际社会公共安全博览会
第十八届中国国际光电博览会
第三届中国—亚欧安防博览会暨2016第十二届新疆警用反恐技术装备博览会
第七届中国(天津)国际社会公共安全产品暨警用装备展览会大数据时代,如何更好地运用云归档
发表于 17:41|
作者周建丁
摘要:美国昆腾国际公司亚太区高级市场营销总监Jim Simon认为,通过备份服务器、基于政策的文档管理以及云归档的结合,能够减少网络负载、备份存储和备份软件许可开支,并减少主存储成本,通常会节约40%的TCO。
大数据时代,面对非结构化数据的爆发式增长,我们需要更好的存储战略,以便以更低成本访问更多内容,通常思考分布式存储、云备份、云归档或加入分层技术的传统存储方案。美国昆腾国际公司亚太区高级市场营销总监Jim Simon认为,通过备份服务器、基于政策的文档管理以及云归档的结合,能够减少网络负载、备份存储和备份软件许可开支,并减少主存储成本,通常会节约40%的TCO。昆腾公司昆腾对自身的定位是做数据流(从数据产生、使用到归档的整个过程,也称工作流)存储方案的公司,数据流在媒体、石油天然气勘探等行业最为典型。针对数据长期保存,昆腾已经研发出多种成熟的解决方案和产品,包括:Scalar磁带库和StorNext AEL(带有归档功能)线性磁带文件系统LTFS拥有多种数据迁移选项的
Lattus(StorNext、Arkivio、CommVault)Q-Cloud,昆腾和亚马逊合作推出的云归档解决方案Jim
Simon强调,不断备份相同的静态非结构化文件数据,不仅会给网络资源以及满足备份窗口带来压力, 同时主存储和备份成本也会增加,这会对 IT 预算带来更大的压力,实施归档策略才是解决方案。昆腾正在致力于传统归档方案的升级,并将其与云归档相结合,以应对整个行业90%的新数据增长是非结构化数据的挑战。这一次,昆腾发布了三个新的增强型产品组合:Artico智能 NAS 设备可在线访问内容,并智能地把数据分层存储到 Q-Cloud归档、 Lattus对象存储或Scala 磁带库中DXi with Arkivio,整合了昆腾DXi设备与Rocket Arkivio Autostor软件,可在同一个设备上同时支持数据备份和归档新的 Lattus扩展在线存储产品 ,带有对象存储节点,集成了新的6TB磁盘驱动器,提高了对象存储密度并降低了每 TB 成本Artico智能 NAS 设备根据昆腾对中国100多家用户的调查显示,当数据增长的时候,大约50%的IT经理会继续购买主存储,因为判断常用和不常用数据对IT经理来说还是比较困难的。但昆腾Artico分层策略设计的初衷,就是“在合适的时间把数据放到合适的位置”,它内置StorNext,与Arkivio Autostor数据迁移工具结合,可以帮助IT经理做分析和判断的工作,把内容迁移到成本较低的存储以节约资金,同时通过在一个深度活动库上共享内容而提高工作力。举例而言,针对纯文档的办公环境,Artico会根据文档类型,把视频、图片文件迁移到低成本的Artico存储上,另一个判断依据就是文件使用频率,整个过程对用户完全透明。Artico本身提供33TB磁盘存储,可扩展到73TB,最多支持10亿份文件。通过云、对象存储或磁带技术,还可以提供更大的可扩展性。这就降低了购买更多主存储的必要性。Artico可通过 NAS 连接集成到多种环境,支持EMC、NetApp、HP、Linux、RedHat、Windows等多种不同的操作系统和主存储。DXi with Arkivio在DXi4700及DXi6900阵列,运行Rocket提供的Arkivio数据归档软件,可将主存储阵列的文件转移到Artico设备、或者具备重复数据删除功能的备份磁盘阵列当中,并在其中提供一个专门的归档分区,这可以减少备份窗口和网络占用。Jim Simon称,Arkivio Autostor能够评估数据属性并根据这些属性而支持智能政策,从而把非结构化数据从主存储迁移到DXi重复数据删除设备。根据Jim Simon的现场演算,对于从主存储迁移到归档的每TB非结构化数据,DXi设备与Arkivio软件的组合可帮助客户节约超过60%的总体存储成本。新的 Lattus 存储节点对象存储能够在性能与成本之间实现新的平衡,昆腾Lattus已经利用对象存储技术来扩展在线存储,并提供即时访问数据,它最大的好处就是数据可以存储很多年也不会丢失,而且它能存储上百个TB的数据。此次Lattus提供新的带有6TB数据中心归档驱动器的S30存储节点,将每个阶段的原始容量提高到了72TB,相对当前的S20存储节点,密度提高50%,每TB成本降低了15%。第三代存储战略解决方案基于推出的这些新品,昆腾形成了自己的第三代存储战略解决方案,即结构化数据和非结构化数据分离:结构化数据可以备份到昆腾DXi虚拟磁带库备份设备,还可以进一步复制或者拿出一部分拷贝备份到云端或者远端;非结构化数据可以归档到DXi设备或者Artico设备上,最后在移到其他磁带库存储上。到云端或者远端的备份,得益于重复数据删除技术的利用,这不仅实现性能的提升,同时广域网传输也成为可能。云端的数据备份,目前只支持Q-Cloud。谈到Q-Cloud Artico Archive在国内的进展,Jim Simon表示,正在随着AWS进行测试,未来也可能会支持别的公有云。他同时提醒,如果要完全从云端恢复数据,可能需要花费很多的时间,因而云归档和本地归档的结合非常重要。
推荐阅读相关主题:
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
相关热门文章}

我要回帖

更多关于 云技术存取1pb的数据 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信