数据云存储方案最新9篇-ag凯发旗舰厅
数据云存储方案 篇一
关键词:云计算 mcsers 云存储 数据安全 冗余分割
中图分类号:r197.39 文献标识码:a 文章编号:1007-9416(2013)12-0196-03
云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备[1-3]。在云计算模式中,用户的大量数据处理计算业务都存储在在云端服务器上,以利于移动办公、保持数据一致性,及更好地享用云计算平台的其他服务。一个通用的、模块化的云存储方案mcsers(modular cloud storage with encryption and redundancy splitting)[4]将多个运营商提供的云存储组件连接成一个云存储域服务于用户,即使用公有云的技术构建用户自己的私有存储云,以保证用户的云端数据的相对独立性。
用户数据需要拥有完整性,可用性以及机密性来保障用户的隐私。在mcsers中,数据的安全性要通过加密和数据冗余分割技术来保证。数据冗余分割技术允许将一个数据整体分割成不同分片,存储在不同位置,以此提高数据的安全性。然而,数据冗余分割算法的选择及其参数的调整,将对方案中数据处理的速度,数据分片存储效率,以及数据分片的安全性产生影响。本文利用仿真实验对三种冗余分割算法—ec抹除码[5]、shamir基于拉格朗日的秘密共享算法[6]、基于位异或的(k,l,n)秘密共享算法[7]—的性能分别进行测试,测试三种算法数据分片分割和重组过程的速度,以及最后生成的分片的存储空间的差别,从中选择最优方案。最后通过比较加密前后数据冗余分割结果分析如何更好提高数据安全性。
数据安全量化通过明文敏感性来进行。明文敏感性指在其它参数不变的情况下,使用相同算法对同一个明文数据进行前后两次数据冗余分割,而前后两次的数据明文只变化一个比特,其生成分片所产生的变化。分片变化比特的总数占分片比特总数的百分比,即为明文敏感性=(分片变化比特总和/分片比特总和)。敏感度越高,则安全性越好。
1 三种冗余分割算法简介
1.1 ec抹除码介绍
应用reed-solomon提出的抹除码(ec,erasure coding)技术(下文简称rs-ec)[5]能够令数据块分散存储在全球不同的存储位置n,并且恢复时只需要其中的一个大小为k的子集,即能够实现(k,n)门限数据冗余和恢复。
假设rs-ec的参数为(k,n),其中k指门限阈值,是恢复原数据的最小集合的大小;n指最后生成数据的份数。rs-ec由用户数据直接切割成k份分片,并产生n-k份的校验数据。其中包括分割与校验位数据在内的任意k份数据组合,都能恢复出原用户数据。
1.2 shamir秘密共享算法
shamir的秘密共享算法方案基于拉格朗日插值原理,并在高斯域g(p)中进行运算[6]。其目的是在一个用户群体中共享密钥;方案将密钥分割成n份密钥分片并发送给n个不同用户,只需要其中k个用户同时贡献自己的密钥分片就能恢复原密钥;少于k个用户无法恢复原密钥。其中k为算法的门限阈值,n大于等于k。即如果当n个参与者中任意小于k个参与者的集合都无法恢复出原数据或者泄露原密钥的任何信息,则称这样的秘密共享算法是完美的(perfect);而如果秘密共享算法在满足完美的条件下,还能满足每个密钥分片的长度都与原密钥的长度一致,那么则称这样的秘密共享算法是理想的(ideal)[8,9]。shamir算法就是理想的秘密共享算法,
一种完美的秘密共享算法能保证密钥分片具有高强度的安全性,当一个攻击者窃取了k-1块的密钥分片,他想要恢复出原密钥的难度,其实和没有这k-1块分片时的难度是一致的,都需要进行穷举猜测原来的密钥。而至于理想的秘密共享算法,则能在保证安全性的前提下,提高算法存储效率。完美的理想秘密共享算法所能产生的最小秘密分片的长度为原数据的长度;否则必然会在一定程度上对信息产生泄露[8]。
1.3 基于位异或的(k,l,n)秘密共享算法
shamir的秘密共享算法方案受限于拉格朗日插值运算的复杂,导致运算速度效率低下。针对此弊端,kurihara等提出了基于位异或运算的(k,n)门限秘密共享算法,在运算速度上有大幅度提升[10]。而且方案也属于理想的秘密共享算法,其秘密安全性得到保障。但(k,n)处理一份秘密时,需要生成k-1份随机数用于生成运算;最终的n份秘密分片长度总和为原秘密的n倍,扩张严重,导致了存储秘密分片时存储负担过重。
为了提高秘密分片的存储效率,kurihara等引入ramp机制将原来的(k,n)门限算法扩展成为(k,l,n)的门限秘密共享算法[7],提高每个秘密份额的单位信息量。(k,l,n)门限算法的一次操作中将一份秘密等分切割成l块,并相应生成(k-l)份随机块作为初始运算数据。最后生成的每份秘密分片长度都为数据块的长度,即原秘密的(1/l)。然而(k,l,n)门限算法的运算性能与安全性之间存在着此消彼长的关系,也即ramp机制牺牲了一定的安全性而换取运算速度和存储效率的提升。
2 数据冗余分割算法的性能比较
为了比较三种冗余分割算法性能,设置了以下实验进行测试。实验设置门限参数(k,n)等于(4,7),单次操作的数据长度为32比特。其中位异或的(k,l,n)秘密共享算法中参数l由1取到k=4,进行多次实验;l的变化影响着运行速度和存储效率。实验的结果如表1所示,其中存储分片扩张指n个分片长度的总和与原数据的长度的比率(分片长度*n/原数据长度)。
本实验进行的环境为intel 2.1ghz酷睿双核cpu,2g内存,32为xp操作系统,visualstudio2005开发工具。本实验的数据对象为10m大小文本文件,测试5次求平均值。下文如若没有特殊提示,将保持同样的实验环境。
由表1可见,rs-ec抹除码的速度最快,存储效率也最高,但单独的rs-ec抹除码编码由于没有随机数参与运算,因此敏感性很低,不利于数据的信息隐藏。基于位异或的扩展(k,l,n)算法能够随着l的调节而产生不同的安全等级;当l=1时,理论上扩展的秘密共享算法是理想的,而实验证明了其敏感性也是接近50%,是最为理想的情况,实验与理论相符;当l逐渐增大,参与运算的随机数下降,则明文敏感性逐渐下降。shamir的秘密共享算法由于存储效率较低,运算速度较慢,对二进制的支持不良好,无法满足快速数据冗余分割的需求,被位异或运算取代是合乎常理的事。
3 位异或秘密共享算法的安全性能分析
基于位异或的秘密共享算法引入ramp机制后,以牺牲部分安全性为代价,提高运算速度和存储效率。这种安全性表现为不足k(门限阈值)的分片集合也会出现部分信息的泄露。为了弥补基于位异或的秘密共享算法敏感性的不足,本论文提出对数据进行aes加密之后,再实行数据冗余分割。在实验中,数据分片的明文敏感性的强弱体现了信息隐藏混淆的能力,反映算法的安全性。
以下研究单独的基于位异或的秘密共享算法,以及结合了aes加密的秘密共享算法以后的明文敏感性、运算速度、存储效率的差别。在参数l由k变化到1时,单独的位异或秘密共享算法敏感性上升,但这是以牺牲存储效率和速度为代价的;而结合了aes加密的结合算法也同样能弥补敏感性。本实验目的是对比两种提高明文敏感性的方法效率的高低。具体的实验数据下述表格2和3所示:
由上述的两个表格(表2、表3)可以看出,随着l的变大,两种方案的敏感性都逐渐下降,而存储效率和处理速度都在上升。从实验的角度验证了位异或算法在效率和安全性之间此消彼长的关系。同时,通过对比试验可以发现,添加了aes的处理的结合方案在提高明文敏感性中所付出的存储空间和运算速度的代价,要比单独的秘密共享方案调节ramp参数l下需要付出的代价要小。在试验中可以看出,以l=4为参数的的单独的位异或秘密共享算法的明文敏感性为0.26%。为了提高明文敏感性到接近50%的水平,可以使用调节ramp参数或者添加aes预处理的两种方法:使用参数调节方法,将l调节为2,使明文敏感性达到49.83%的水平,相对于l=4时付出了多(3.5-1.75=1.75)倍的存储空间和((2.8541-0.9914)/0.9914= 1.88)倍分割时间、((1.2716-1.0532)/1.0532=0.21)倍恢复时间;而使用添加aes预处理的方法,l=4时,明文敏感性已经达到48.74%,而存储空间不变,但分割时间增长了((2.1476-0.9914)/0.9914=1.17)倍,恢复时间增长了((1.9558-1.0532)/1.0532=0.85)倍。可见,添加aes预处理的方案能更有效率地提高算法的明文敏感性。结合方案即使是在l=k时,没有随机数参与数据冗余分割,也能维持数据分片的高明文敏感性。
4 结语
本文对mcsers云存储方案中使用到的数据冗余分割算法进行定量研究,分析其不同方案的选择效率和安全性的区别、针对位异或秘密共享算法参数调节所带来的安全性和处理性能之间关系的研究,以及研究分析了aes加密所带来的对数据安全性的提升效果要比调节参数l所带来的提升要更加明显。
参考文献
[1]armbrust m,fox a,griffith r,et al.,a view of cloud computing [j].communications of the acm,2010,53(4):50-58.
[2]lenk a,klems m, nimis j,et al.,what's inside the cloud? an architectural map of the cloud landscape[c].// proc.2009 icse workshop on software engineering challenges of cloud computing.2009.washington dc,usa:ieee computer society, 2009,23-31.
[3]ma wenqing,zhang jing,the survey and research on application of cloud computing[c].// 7th international conference on computer science & education (iccse).melbourne,australia:ieee computer society,2012,203-206.
[4]郑洪英,王博,陈剑勇。 实现加密和分割的数据云存储方案 [j].深圳信息职业技术学院学报,已投稿。
[5]stephen bw,error control systems for digital communication and storage[m]. prentice hall,1995.
[6]shamir a,how to share a secret[j].communications of acm,1979,22: 612-613.
[7]kurihara j,kiyomoto s,et al.,a fast (k,l,n)-threshold ramp secret sharing scheme[j].ieice transactions on fundamentals of electronics communications and computer sciences,2009,e92-a(8):1808-1821.
[8]bai la,strong ramp secret sharing scheme using matrix projection [c]// international symposium on a world of wireless, mobile and multimedia networks, 2006(wowmom 2006).new york city,usa:ieee computer society,2006,652-656.
数据云存储方案 篇二
【 关键词 】 fstor;云存储;校园网
【 中图分类号 】 tp393 【 文献标识码 】 a
1 引言
21世纪云计算技术的出现将信息资源和服务转变为像水和电一样的社会公用基础设施和公共服务,对于其内部结构,云计算数据中心就成了这种服务提供者,其媒介通过各种网络如光纤、电话线甚至是无线形式连接,同时以最小的管理工作量迅速提供或者释放资源。所谓云存储,即是通过软件将所有的存储体进行有机的整合,成为一个高度智能化的安全稳定资源池。这种资源池是云计算平台的核心内容,它的出现让我们不再关心工作中我们所需要存取的数据究竟存在哪一个空间或者记忆体上,完全成为一种虚拟化的资源,从某种程度上能大大减少我们的维护工作量。
2 传统校园数据存储中心的工作现状
从整体上来说各高校适应社会发展的趋势,网络中心机构建立及数据中心存储的建设已经为独立运营打下了基础,大大推动了大数据存储在中国的发展并呈献逐年上升的态势。数据中心基础设施产品主要包含ups、空调、电池、机柜、监控等系列供配电和制冷产品,这些设施在使用过程中出现一些问题。
新时期下数据中心最大的挑战是高能耗。面对能源紧张、节能减排等世界性问题,数据中心这一被称为“电老虎”的能耗大户面临着降低能耗、节约成本的严峻挑战。如何使数据中心变得更加绿色和环保,成为高校和企业一直在寻求的解决之道。然而云计算技术的出现,如同一道曙光照亮了数据中心前行的道路。
计算及存储方面的运行效率。目前大部分数据中心中的服务器和网络设备的利用率仅在24%~30%之间。如何最大限度地发挥现有系统的资源以及优化系统架构,是传统数据中心向绿色数据中心转变过程中首先要考虑的问题。
数据的存储安全性、可靠性及稳定性较低。部分高校依然采用传统的单一式的服务器传统存储、磁盘阵列、nas等进行存储,如果这些核心存储数据中心发生瘫痪,将造成业务停顿,如果是企业的话对数据中心基础设施和运行维护的要求更高。灾备建设做得较好的电信、银行等行业,目前也只有少数企业初步实现了应用层面的灾难备份策略,极少数企业真正实施过业务连续性计划的演练。整体来看,多数单位在重大灾难面前对于快速实现灾难恢复和业务连续性计划缺乏具体的措施和对策。
3 数据中心存储的发展方向
it设备将进一步小型化,一体化机房管理理念成未来趋势。所有设备都将进入机架,成为机房it设备的主体,具有更合理的可用性设计,更高的实用性、先进性、灵活可扩展性、可管理性、可维护性,并且设备更加标准化;加强了对数据保存环境的重视,对机房建设进行更加严格的监测与监督,机房一体化理念应运而生,并成为未来机房的发展趋势。
模块化机房理念已经展开,但推广需要时日。ictresearch认为,模块化数据中心(mdc)和传统数据中心好比笔记本和台式机的区别。模块化数据中心带来了全新的可管理性和效率,通过容量扩展可以满足传统数据中心的需求,因此模块化数据中心已经逐渐成为满足不断增长的业务需求的ag凯发旗舰厅的解决方案之一。大多数数据中心的使用时间在10年到15年之间,核心设备需要5-8年进行更换新产品。模块化数据中心可以更大自由地进行扩展和更换。尤其是对于中小单位来说,资金相对较少,如果未来模块化数据中心价格大幅度下降的话,是他们的参考选择之一。
绿色化数据中心切合中国乃至全球的发展方向。所谓数据中心的“绿色”,业界标准并不统一,也没有形成可以参考的规范。ictresearch认为,绿色标准可以体现在两个方面:第一,整体设计的科学合理和设备的节能环保。绿色应该体现在通过科学的机房配置建设设计或改善,来形成动力环境最优化的配置,实现初始投入最小化;在保障机房设备稳定运营的同时,达到节能减耗;同时服务器、网络存储等设备要实现最大化的效能比。第二,满足it环境的基本运营,同时确保可扩展性。要合理规划数据中心的使用寿命,争取达到总体tco最小化。
4 云存储体系结构模型
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说,当我们使用某独立的存储设备时,我们必须非常清楚这个存储设备的型号、协议、接口、数量。同时为保证数据安全和业务的连续性,我们还需要建立相应的数据备份系统和容灾系统。如果采用云存储,那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的,任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接,对云存储进行数据访问。从这个意义上来说,云存储实际不是存储,同互联网一样而是服务。其基本结构如图1所示。
存储层:作为最基础的部分,存储可以是fc光纤通道存储设备,可以是nas、 iscsi、scsi、sas等设备。云存储体系中的存储设备往往数量庞大且分布多不同地域,彼此之间通过广域网、互联网或者光纤网络连接在一起。在这些设备之上安装一个统一管理系统,可以实现逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。
基础管理层:是云存储最核心部分,也是云存储中最难实现的部分。基础管理层通过集群式、分布式和网格计算等技术,实现存储系统中多个存储设备的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更强更好的数据访问性能。cdn内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。
应用接口层:是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、iptv和视频点播应用平台、网络硬盘引用平台,远程数据备份应用平台等。
访问层:任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。
5 fstor云存储系统ag凯发旗舰厅的解决方案
fstor是北京恒安永顺科技有限公司2007年推出的国产自主品牌,致力于为中国教育用户提供“基于应用的整体ag凯发旗舰厅的解决方案”的数字化it产品,符合云计算产品发展的方向,集成化小型化符合高效节能理念,应用上经过几年来的市场推广与产品更新逐步达到完善。从总体上来说,这种产品可以对用户以本地磁盘的形式提供在线存储服务,实现真正意义上像使用“我的电脑”、u盘一样进行存储,全面支持复制、粘贴、运行、查看等常用操作系统命令。至于存储完成的过程及地址不需要用户去关心和了解,同时实现校园网的在线存储和数据分享服务、数据社交服务及数据安全。在建设过程中我们根据学校的分布进行主校区和分校区的整体改造,如图2所示。
自主定制和管理分布式数据存储。这种定制包换容量定制、功能定制、群组定制及多级自主管理定制。由于结构采用分布式存储架构,功能模块可进行多种组合,支持独特的群组共享功能,让数据在用户之间进行自由共享,同时系统配置自主决定,用户注册、群组创建系统管理员全权审批,群主自主管理所创建群组。
集成应用平台。除去实现数据共享平台外,同时能够直接为用户提供方便的应用集成支持,包括利用fstor作为可扩展和高可靠的存储后台,利用其开放的编程接口(api)实现完美对接。如校园录播系统获得的视频资料可以直接保存公共存储中利用共享用户使用。图书馆的电子资料也可以立即在校园网范围内共享,群组成员无需额外的借阅手续。
应用部署快速简单,实现专业服务。产品内因多种在线管理和监视工具、多种通知和预警机制确保云存储方案的易维护性。本身由于采用云计算结构,所以其具备快速的部署机制和方便的扩容方案,扩容无需停机即可实现无缝对接,出现失效硬件只需完成硬件替换,系统在保持正常运行的同时自动完成负载均衡,同时在管理方面集中管理节省了各部门大量的人力和物力,降低运维成本。
云存储较高的可靠性。通过使用节点内、跨节点、跨数据中心等多层副本技术,保证您的数据不丢失,同时兼容标准的安全技术确保数据的传输与存储的安全性。在数据传输过程中遵循标准的https协议,数据在网络中加密传输避免了窃听泄露。分组用户管理由于具有不同的角色和权限,例如拥有者、管理员、数据管理员、普通用户等,完善的角色访问控制系统能够对所有的用户进行精细的访问权限控制。
在线挂载访问。这种云存储ag凯发旗舰厅的解决方案提供的独特挂载功能,与桌面操作系统完美集成,展现在用户面前的是一个超大容量的磁盘(例如在windows中会出现一个超过50t容量的磁盘),这种磁盘同时支持不同的操作系统界面,包括windows、mac及linux。
用户使用云存储与本地的文件系统完全一致,在应用方面完美支持各种既有平台的应用程序,可以直接存取云存储中的数据,无需下载直接在线播放视频,节约带宽的同时大大缩短浏览/观看时间,这一方面也大大简化了数据管理员整理数据的工作。
6 结束语
校园云存储平台建成后,校园网的运行效率提高到前所未有的水平,故障发生率大大降低,idc服务器资源计算能力由原来的20%提升至85%,使我们校园网管理机构的数据中心变成大容量存储服务中心,计算中心实现高效能云计算,并最终达到网络、应用、计算、共享和存储的综合集散中心,由于管理实现了一体化的高效集中,甚至出现不同部门的it管理人员有了分流和转型的趋势,但在运行初期智能校园网的功能方面还是受到了广大师生的一致好评。由于集中共享存在个人数据隐私等问题,智慧校园网未能全面建设,下一步我们将对出现的这些问题及发展方向进行论证进一步进行整合,让我们的校园信息化建设更上一层楼,让新时代产品更好地服务于教学服务于社会。
参考文献
[1] 何永江。基于云计算的移动互联网服务提供模式[j].邮电设计技术,2011(10):39-42.
[2] 陶长顺。一种基于云存储的移动终端网络存储设计[j].计算机应用与软件,2011(10):187-190.
[3] 黄滨,徐勇等。基于hadoop云存储系统在设计院的应用研究[j].信息安全与技术,2012(09):62-65.
[4] 陈臣,马晓亭。数字图书馆云存储系统安全架构与安全策略研究[j].现代情报,2011(09):160-164.
基金项目:
郑州师范学院项目(2012072):基于云计算的数字化校园数据存储安全研究。
数据云存储方案 篇三
关键词:云存储;气象档案;数字化
中图分类号: tp302.1 文献标识码:a 文章编号:1009-3044(2016)27-0007-03
abstract: meteorological digital archives are the important meteorological data, along with increasing the amount of data, traditional way of storing faces severe challenges. this paper analyzes the present situation of liaoning province meteorological archives digital picture file, put forward a set of meteorological archives digital images based on cloud storage solutions, to improve the existing file storage way has important reference significance.
key words: cloud storage;meteorological archives; digitization
1 引言
近年来,自动气象站、l波段探空系统和新一代风云气象卫星等气象观测系统快速发展,气象信息系统的通信和存储能力大幅度提升,海量的数字气象资料在国家和省级气象档案馆汇集[1]。在国家气象局的部署下,气象档案数字化建设不断推进,产生了大量宝贵的气象图像档案资源。这些数字化资源种类多、数据量大、访问频繁,且日渐几何状增长[2]。面对这种增长需求,传统存储方式通过扩展物理存储来解决,但这种方式成本高切不利于管理。因此迫切需要一种新的存储方案,在原有资源基础之上来解决海量数字化数据的存储问题,以满足气象档案馆持续发展的存储需求。
随着科技发展,云存储逐渐成为各界关注的焦点。在档案领域中,特别是档案信息资源的海量储存和整合方面,具有非常好的应用价值和研究前景。本文在分析气象档案馆资源整合与共享需求的基础上,结合最近发展的云存储技术,尝试提出一种基于云环境的新的存储方案。这种把云存储技术运用于气象档案资源信息共享领域的新型档案资源整合模式,无疑具有重大的推广价值和现实意义。
2 气象档案业务现状
2.1气象档案业务
近年来,在中国气象局的统一规划下, 我省开始用数字化扫描仪对气象原始记录资料进行信息化处理,目前全省62个站从建站至今的地面观测原始记录、标准数字化记录和统计整编记录已以数据集的方式存入非实时数据库中, 实时的地面气象记录月(年) 报表和高空气象记录月报表实现台站直接信息化、省级集中机审和存储一条龙处理, 不断地增加新的气象信息源,为建设气象数字档案馆奠定了基本的信息基础。同时,逐步开展对历史气象资料拯救与数字化工作,迄今已完成了历史地面气象观测记录报表数字化,目前正在进行高空观测资料的数字化,已形成各类历史地面气象观测记录报表电子图像文件数据集成果,数据量近5.0tb。
2.2 档案存储面临的问题
面对海量数字化资源,传统数字资源存储问题也随之暴露出来,其中比较突出的问题有以下几方面:
(1)可扩展性差。档案馆数字资源快速增长,存储设备的存储容量受限,导致资源无法长期保存,现有的档案馆数字化建设根本无法满足需求,如果存储容量一开始设计过大,又耗费资源。
(2)资源冗余、信息孤岛。各档案之间独立保存,资源冗余,档案信息得不到共享。
(3)成本高。软件维护和硬件维修,以及够买新的设备,都需要较大成本
(4)安全性差。档案馆目前的系统安全体系薄弱,容易遭受,同时某一设备故障也会影响整个档案的存储系统。
(5)备份性差。数据备份需要花费大量人力和时间,同时异地备份和迁移需要更多精力。
3 构建云存储
3.1存储结构设计
气象档案具有保密性,因此在设计时充分考虑安全因素,将内部云存储组件部署在省级网络防火墙后,保障数据安全。初期可以利用现有资源降低成本,如已有服务器、硬盘等,待框架搭建好后根据需求进行增加,内部存储结构层次如图2所示。
(1)访问层。主要面向全省各级档案使用人员,用户得到省级的统一授权后,利用标准api接口来访问内部数据。目前主要数据是数字化的图像,以后可根据需求扩展更多类型数据。
(2)应用平台接口层。在本层中部署不同的功能模块满足使用需求,包括数据库接入、数据资源整合交换、虚拟查询等。
(3)基础管理层。基于集群技术、分布式文件系统和计算机网络技术,实现云存储中多个存储设备的协同工作,对外提供统一的服务,是整个云存储的核心。
(4)物理存储层。部署在物理存储和服务器之间的一个虚拟层,可以结合现有的虚拟化设备和服务来进行管理。这种方式的优点在于,摆脱物理存储容量限制,存储硬件的改变对服务器层完全透明,存储设备可以包括光纤通道、scsi、nas等。
3.2存储访问方法
内部存储的构建包括控制节点和数据节点,控制节点控制数据节点的存储分配,数据节点根据需求进行配置,通过连接的方式进行访问,不同的存储设备通过软件进行协同,对外部提供数据存储管理和业务访问服务。具体的访问方式包括:webapis具象状态传输、基于iscsi块协议传输、基于web协议传输等。可以与现有的虚拟化资源协作,实现软硬件统一部署。
3.3存储可靠性
云存储的可靠性关系到整个所有环节的效率,内部云存储通常利用数据复制、节点备份、等机制来保障可靠性。这里采用信息分布算法(ida)把文件分成数据分片,这种处理有利于数据重建。具有数据分片能力可以将切片分配到不同位置存储,提高存储系统的可靠性,降低系统运行负荷,减少信息交互。
3.4 存储扩展性
采用filestorage方式进行存储,这种基于文件级别的存储优点在于同一文件可供多用户使用,扩展性强,成本低。在云存储需要扩容时,只需要安装云端管理软件,并网络交换机相连。当用户端存储负荷增加时,云存储端可以将数据分配到不同节点,提供额外的访问途径,提高读取能力。存储的扩容过程通过在线操作,不影响存储,非常便捷。
4 结论
(1)作为新的技术,云存储概念从提出便成为数据存储领域研究的热点,改变了传统存储模式,而云存储模式由于其高安全性、可控性等特性为气象档案馆建立云存储提供了可行性方案。构建基于云环境的档案存储,为气象数字化档案的整合与共享提供了新的ag凯发旗舰厅的解决方案。随着云计算技术的快速发展,将给气象档案馆数字化建设带来巨大的转变。将云存储技术运用于气象档案资源信息共享领域的新型档案资源整合模式,无疑具有重大的推广价值和现实意义。
(2)云存储作为一种新的存储模式,具有低成本、高可靠性等特性,能够很好地解决档案馆海量数字资源的存储和管理,但同时云存储还存在一些不完善和需要改进的地方,我们可以利用它来提升档案馆数字资源信息服务,但不能完全依赖它,还要结合自身档案体系的特点,实现气象图像档案资源整合与共享的可持续发展。
参考文献:
[1] 李星玉,张静。气象档案工作现代化的几点思考[j].2011(10):35-36.
[2] 中国气象局。气象事业发展“十一五”规划(2006-2010年)[r].北京:中国气象局,2006.
[3] 郭萍。气象数字档案馆的设计思路[j].新技术应用与现代化管理,2005(2):11-13.
[4] 乔杨。基于内部云存储的图书馆数据资源存储研究[j].晋图学刊,2012(1):11-13.
数据云存储方案 篇四
关键词:云存储;资料归档;网络存储
1 云存储技术简介
云存储技术主要是依赖于高速分布式互联网进行数据的存储,在网络中搭设多种不同类型、不同容量以及不同物理位置的存储设备,借助云计算进行管理,让这些分散于网络中的数据能够并行工作,从而形成了一个非集中式的大型数据存储和访问系统。云存储能够合理运用网络空间,存储资源更加丰富,按照需要也可以获得很好的扩展性,通过网络管理软件等可以快速对资源进行管理和取用,和集中存储的管理方式基本相同。在网络中存储的信息相对比较分散,所以受到攻击时也不容易造成整体的崩溃,只要能够进行良好的保护,网络中的信息就能够得到有效的保护。
2 资料档案信息网络存储及其实际应用意义
2.1 资料档案信息网络存储
互联网技术日益成熟,越来越多的人在使用互联网,使得网络中信息的种类和数量都在不断增加,同时人们对于信息的取用要求也越来越频繁,如何采取一种高效的存储方式,让网络中的信息更好的进行使用,是目前信息管理工作者需要面对的问题。档案信息存储的方式非常多,基于本地计算机系统的存储方式,方便集中管理和使用,但是面对网络不断扩展,这种方式使得网络中处于远端的设备访问不便,所以利用互联网分布计算的优势,在网络中分布存储,可以通过特定的网络载体进行存储。相比较于传统存储模式,云存储通过网络将部分的档案信息组合成一个整体,使得多个信息资源单位可以通过网络进行信息的共享和传输,解除了集中信息存储的限制。而且随着档案信息种类增多,数量增加,网络存储能够提供更大的空间,同时提供高速的访问服务,节约本地信息资源占用的空间。云存储是目前最为经济,安全性较高的信息存储ag凯发旗舰厅的解决方案,长期存储得到了很好的保证。所以说,资料档案信息的存储,未来会十分依赖网络存储。
2.2 云存储对资料归档的重要意义
信息量的增加,对管理提出了更高的要求,同时大量冗余的信息会占用存储空间增加负担,根据客观需要进行存储更为合理。按照档案信息的管理规定,选择合适的存储年限和存储方式,对于需要长久存储的档案信息,应当选择更加安全稳定的存储方式,而云存储技术的分布式优势能够很好的解决这一问题。分布式存储解决了长期存储稳定性不足的问题,在网络中的备份能够及时恢复保证数据安全,同时分布式存储通过网络机密和授权访问,确保资料能够完整保存。实际档案存储过程中,网络存储体现出了非常多的优势,成本低,运维方便,对于网络的安全开放,也让档案信息可用性更高,便于分布式管理档案信息,云计算解除了档案管理的时间和空间限制,所以说云存储在资料归档中具有实际应用意义。
3 云存储在资料归档中的应用方式
3.1 利用资源网站进行云存储
档案信息资源原始数量庞大,档案管理部门对于这样庞大的数据信息,可以很好的利用资源网站的服务器进行存储,通过网络存储代替本地资源存储,大大降低了本地资源占用的空间。使用网络资源网站存储原始档案资源,降低了本地计算机存储系统的压力,同时在资源网站合理开放接口,可以在服务器端进行其他档案信息的收录和管理。资源网站对于资源的存储可以说是全方位的,不论类型和更新频率,服务器都能够承载,具有很强的可用性,海量的档案信息都可以得到安全的存储。
3.2 利用网络硬盘进行云存储
网络硬盘也就是建设在网络中的大容量存储介质,很多网络公司都推出了在线的资源存储服务,提供了一个资源存储、管理和分享的网络空间,就相当于一个虚拟的移动硬盘,只是访问方式是通过网络进行。网络硬盘相比资源网站使用更加方面,借助网络公司的公用服务器硬盘,实现网络存储。网络硬盘可以随着用户需求扩展空间,成本也比较低廉,借助网络公司的服务器资源,更加安全和稳定。
3.3 利用同步盘进行同步存储
同步盘与网络硬盘可以结合使用,同步盘将网络硬盘与本地计算机硬盘进行映射和同步,通过网络将本地计算机存储的信息进行网络备份,这样在其他计算机中也可以对存储资源进行检索和管理。同步盘提供自动备份更新数据的服务,将本地计算机增加的信息及时的上传到服务器中,这样就可以通过网络将同步盘作为计算机的一个虚拟硬盘使用,更加直接的对数据进行管理,同步服务让信息存储更加稳定,降低了本地计算机的压力,确保计算机信息能够得到稳定保存。
4 结语
云存储技术在大数据时代应用广泛,随着时代的发展,档案信息的存储和使用也有了更高的要求,认真研究云存储技术,创新档案信息的存储方式,提高存储稳定性和安全性。档案信息资源不论是种类还是数量都在不断增加,云存储提供了良好的ag凯发旗舰厅的解决方案,这就需要资源管理者采用合理的存储方式,提高资源存储和管理的工作效率。
参考文献:
[1]高宏卿,汪浩。基于云存储的教学资源整合研究与实现[j].现代教育技术,2010(03).
[2]李君鹏,周宇。基于云存储的在线备份服务创新[j].华南金融电脑,2010(03).
[3]郭凌翔。浅谈云存储及其安全性[j].福建电脑,2010(05).
[4]周可,王桦,李春花。云存储技术及其应用[j].中兴通讯技术,2010(04).
大数据时代的云存储技术 篇五
摘 要:随着大数据时代的来临,以及云计算技术的迅猛发展,作为信息时代的全新产品云存储也成为存储领域的新宠,云存储改变了以往数据主要集中在本地存储和处理的传统模式,企业和个人用户无需再投入大量购置硬件等设施的成本,就能够方便快捷地通过网络根据需求访问计算与存储等服务。本文从云存储的概念、云存储的分类、云存储的优势、云存储需要考虑的问题等方面来介绍一下云存储技术。
关键词:云计算;云存储
1 什么是云存储
云存储是在云计算概念上延伸和发展的一个新的概念,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储管理时,云计算系统中就需要配置大量的存储设备,那么,云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。
2 云存储分类
按照服务对象可以把云存储分类如下:
(1) 公共云存储。公共云存储可以以低成本提供大量的文件存储。供应商可以保持每个客户的存储、应用都是独立的、私有的,公共云存储可以划出一部分来用作私有云存储。
(2) 私有云存储。通过私有云存储,一个公司可以拥有或控制基础架构,以及应用的部署。私有云存储可以部署在企业数据中心或相同地点的设施上。私有云可以由公司自己的it部门管理,也可以由服务供应商管理。
相比传统存储模式,云存储的租购模式显得更加灵活方便,其实,企业自己构建一个数据中心需要购买硬件等必备设施及复杂多变的维护管理。
(3) 混合云存储。这种云存储把公共云和私有云结合在一起。主要用于按客户要求的访问,特别是需要临时配置容量的时候。
从公共云上划出一部分容量配置一种私有云,可以帮助公司面对迅速增长的负载波动或高峰时很有帮助。
尽管如此,混合云存储带来了跨公共云和私有云分配应用的复杂性。
3 云存储具有的优势
作为大数据时代的云存储技术,与传统存储技术相比,具有如下明显优势:
(1) 灵活方便。对于中小企业或个人用户,完全可以将数据的创建与维护委托给云服务提供商,而只是租用云服务提供商的服务即可,用户不必考虑存储容量、存储设备类型、数据存储位置,以及更多的关于数据的可用性、可靠性和安全性等繁杂的技术层面。避免了购买硬件设备及技术维护而投入的精力,节省下来的大量时间可以用于更多的工作业务发展。
(2) 成本低廉。就目前来说,企业在数据存储上所付出的成本相当大,因为企业要建立一套存储系统不仅需要购买硬件等基础设施,同时,系统维护还需要专门的人员,企业的存储空间及管理费用都面临巨大挑战,企业必须更新或增加各种数据存储和管理设备,而且还要负担逐渐高涨的管理成本。
为了减少这种成本压力,好多企业将大部分数据迁移至云存储上,所有的升级、维护等管理任务均由云存储服务提供商来完成。因此,可以将数据存储与管理的成本降到最低,同时,还能获得最优良的数据存储服务。
(3) 量身定制。随着大数据的到来,传统的存储模式已不再适用企业的数据存储,企业急需一种新的存储方式来满足企业数据存储的个性化需求。
私有云即可满足企业这一个性化需求。云服务提供商可以专门为企业客户提供一种量身定制的云存储服务ag凯发旗舰厅的解决方案,也可以由企业自己的it机构部署一套私有云服务架构。企业不仅可以得到最优质的个性化服务,还能在一定程度上降低安全风险。
4 云存储发展需要考虑的主要问题
由于云存储具有传统数据存储模式不具备的诸多优势,越来越多的中小企业正在将自己的数据中心逐渐转移至云端。而大型企业除了租用公共云存储服务以外,也开始着手建立自己的私有云存储数据中心。但是,云存储仍处于快速发展阶段,云存储要想得到广泛应用,还有待进一步完善和改进。
(1) 安全问题。数据存储在云计算中心,安全问题始终是用户最为关注的问题。
用户的敏感信息和个人隐私数据如何才能保证其具有安全性和私密性,云存储服务提供商应根据分布式文件中可能存在的安全威胁和安全需求,来制定相应的安全策略,以便在计算机中实施相应的保护机制,确保用户数据避免丢失或被窃。
(2) 可靠性问题。可靠性是数据存储系统最基本也是最关键的一项指标。
数据的备份复制是云存储管理中心必须考虑的问题,而且数据的备份复制可以大大提高云存储系统的可靠性和性能,同时能够增强系统的容错能力。如果云存储数据遭到破坏,云存储服务提供商应该能够快速全面地恢复数据,确保用户数据的完整性。
5 结束语
云存储不仅仅是存储,更多的是应用,是云计算时代的一场存储革命,随着云存储的安全性、可靠性、实用性等存储技术的不断成熟,人们对存储技术的认识不断提高,云存储成本的不断降低,一定会形成一个安全可靠、实用快速的云数据存储与访问系统。云存储必将广泛应用于各行各业,云存储必然是未来数据存储的发展趋势。
参考文献
[1]互动百科。/wiki/云存储。
[2]百度百科。 / view /
2044736.htm·pid=baike.box.
[3]云存储技术与传统技术。/show.aspx·id=10678&cid=30.
数据云存储方案 篇六
【关键词】hbase;云图书馆;应用研究
1 高校数字图书馆建设现状
随着移动互联网和智能设备的蓬勃发展,随时随地进行无纸化学习变得越来越重要,各大高校开始着手于数字图书馆建设以顺应这一趋势[1]。由于师生对数字图书需求的日益多样化,以及数字图书的数据量和数据种类呈指数增长,图书存储对服务器空间的需求也急剧膨胀,非结构化数据的存储需求突出[2]。同时师生对数字图书服务的及时性要求越来越高,使得高效存储和管理丰富的数字图书对资源和资金的消耗成为高校图书馆沉重的负担[4]。
由于历史原因,很多高校的数字图书馆系统缺乏顶层设计和统一规划,主要采用sybase、db2和oracle等关系数据库存储数字图书。随着数字图书数量快速增加,全部采用关系数据库存储其成本较高,易用性和时效性也得不到保障。而且相当数量的数字图书体积较大,并不适合存进关系数据库,如果采用文件式存储,数据的安全性、灵活性和扩展性都会受到极大的限制,也又不利于数字图书的备份、检索和统计[3]。而且,有些数字图书业务独占一个数据库,数据冗余度高、共享性差。因此,传统的数字图书存储方案日益满足不了高校对数字图书服务的需求,因此进行海量数字图书存储方案的研究是十分有必要的[5]。
2 云图书馆技术研究
基于hadoop或spark的云计算方案对海量数据进行云存储是当前计算机领域的研究热点。云计算是一种按需交付和使用信息服务的模式,它是服务器的横向扩展。而云存储则是云计算的基础,云存储通过计算机网格和分布式协同处理系统将网络中大量不同类型的存储设备集接,作为一个服务体系对外提供接口供各种客户端访问,这种存储对用户是透明的。对于高校的数字图书馆而言,不仅要能够存储海量图书数据,还要能对数据进行高速i/o, 由于hadoop在云计算和云存储领域具有很高的人气,很多商业公司采用hadoop软件构建自己的私有云,因此本文选择hadoop开源框架解决种需求[6]。
首先,hadoop以一种可伸缩且高效的方式处理图书文档。由于hdfs具有心跳算法、数据块冗余、数据流式访问等机制,自动维护着数字图书的多个副本,因此具有较高的容错性,可以保障数字图书的安全性和完整性,非常适合图书馆信息化建设对文档的分布式存储需求。其次,map/reduce框架将对数字图书的crud访问分解为并行的map任务和reduce任务。两类任务都可以运行在多台服务器上,从而可以轻易处理pb级图书数据。
hbase是apache基金会hadoop项目的子项目,是一个适合存储非结构化数据的云数据库,与一般的关系数据库不同,hbase以表的形式存储数据,但是其基于列而不是基于行的模式。尽管每个hbase表由行和列组成,但每列只属于一个特定的用户。每个元素在底层hdfs系统中保存了多个版本,由时间戳来标识。行并作为检索记录的主键,也是数据在表中的唯一标识。hbase在hdfs之上提供了与google公司bigtable类似的能力,和bigtable提供的分布式数据存储一样,hbase也实现了基于云存储的具有高性能、高可靠、列存储、可伸缩的分布式数据库系统,可用于存储用户的非结构化数据[3]。
3 本方案技术路线
本文采用研究学习与应用开发相结合的方式,首先深入研究了hadoop的系统架构和hdfs的运行原理,接着对hadoop数据文件的读写机制和hadoop性能调优进行了研究和分析,基本研究思想是:首先使用hadoop架构中的hdfs实现数字图书云存储系统,然后在hdfs基础上使用hbase技术构建一个分布式的、面向列的云数据库,最后使用开源的phoenix引擎将针对图书数据的sql访问转化为针对hbase的nosql调用,从而避免大规模修改原有的数字图书馆系统。本方案的实现步骤如下:
(1)在图书馆服务器集群上构建hdfs云存储系统。传统关系型数据库在数字图书馆建设中一直扮演着图书存储的重要角色。由于数字图书数据一旦写入很少再修改,也较少有事务要求,hadoop的o计建立在更多地响应“一次写入、多次读取”的基础上,数据集一旦生成就较少修改,然后自动复制到不同的存储节点中,不仅提高了可靠性,也提高了系统带宽,故使用hadoop来处理数字图书尤为合适[3]。
(2)使用hbase技术在hdfs云存储系统之上构建分布式云数据库。hdfs存储系统不适合处理低延迟的用户请求,也难以高效管理海量小文件。hbase可以弥补这两条不足。hbase通过使用缓存和多master设计来降低来自client的数据访问压力,以减少延时;同时利用mapfile、sequencefile等方式对小文件进行压缩打包,让hdfs存储系统能高效地处理好小体积的数字图书。
(3)使用开源的phoenix引擎将针对云数据库的sql访问转化为nosql访问。phoenix引擎出自salesforce公司,是一个实现sql到nosql转换的项目,其可以高效地通过sql语句操纵hbase或者mangodb数据库,用户通过jdbc接口与其进行交互,就像访问传统的关系数据库一样。
(4)将原有数字图书馆系统的关系数据库访问地址映射为新的云数据库访问地址。很多高校的数字图书馆建设在软硬件上已经投入了大量的资金,在不影响原系统运行的前提下可以平滑实现关系数据库到云数据库的过渡。
4 总结
本方案如果能够顺利实施,将有利于提高图书馆对信息资产的管理水平,从而为广大师生提供更加便利的在线学习服务。通过对hbase和hdfs等技术的研究,结合图书馆对海量数字图书存储的实际需求,设计的方案具有以下优点:(1)存储容量动态可扩展。系统中大量服务器协同工作,可以在不影响系统运行的前提下动态扩展,满足数字图书存储规模日益增长的需要。(2)信息资源虚拟化。基于hbase的云数据库对于使用者是透明的,用户无需关心数据如何存储,原有mis系统也只需要做少量修改。(3)高可靠高。hadoop的多副本和快速恢复等机制可以充分保障数据的可靠性。而且hbase和phoenix引擎可以部署在普通服务器上,从而为图书馆部门节省成本的同时提高设备使用效率。因此本方案对数字化校园建设中的数据存储和服务器使用规划都具有一定的参考价值。
【参考文献】
[1]朱锦益。大数据时代数字化图书馆建设[j].图书档案,2016,2.
[2]林志生。云计算技术在高校图书馆管理中的应用[j].产业与经济论坛,2016,15(6).
[3]王庆波,金耄何乐等。虚拟化与云计算[m].电子工业出版社,2012:110-180.
[4]刘安定。云环境下图书馆信息资源建设的机遇[j].赤峰学院学报,2016,3.
数据云存储方案 篇七
【关键词】云存储 数据安全 隐私保护 分析
云存储存储数据主要指的是利用有效的协调手段一定数量的存储机器,尽可能实现多软件集合,并将这些不同类型的设备进行统一工作,提供存储数据的服务。随着云存储数据技术的应用范围越来越广,云存储服务存储技术在数据安全性,可靠性方面遇到了新的挑战,如何发现自身存在的隐患,并进行深层次的保护技术研究,对公共存储数据服务的未来发展具有一定的参考价值。
1 公共云存储服务的数据加密机制
从内容角度来说,加密混合机制能够有效的对公共云存储数据提供实质性保护,其中机制类型主要包括两点内容,分别为封装密钥机制和封装数据机制。前者主要的运行方式是通过密码公钥算法并对相关文件进行加密数据的保护,而后者的主要运行方式是在确保数据运行速率的基础上,降低其整体运作步骤的繁琐性,并针对量数较大的数据文件进行秘数对称计算。例如,使用者可以通过设计的具体方案进行有效的数据存储,并对封装密钥机制进行有效的分析最终得到密码,以方便对其文件的顺利访问,由此可见这种加密混合机制的主要优势是根据每个文件中显示的数据,灵活性的开展分加密工作,加密访问形式内容较为丰富多样,可以简要分为:加密广播密封机制、非对称传统加密密、封重加密代里密封,加密属性密封机制四种主要的形式。
2 保护隐私的密文搜索
所谓的密文搜索是云存储应用中最为基础的运行技术,主要是通过关键词语的搜索实行隐私保护,在具体的搜索过程中需要形成有效的可搜机制,并针对密钥对称和可搜索密钥开展有效的加密工作,当搜索者进行加密数据搜索时,相关的数据使用者可使用可搜索的非对称加密,为搜索者提供最终结果,主要的内容如下:
2.1 模型威胁
从客观角度来说,云搜索服务器存在一定的不可信因素,首先,服务搜索器主要是通过具体的行为方式来进行具体操作的,在尽可能分析数据的同时,交换额外获得的有效信息,这种情形会产生具有一定威胁的模型。
2.2 隐私搜索
(1)隐私关键词,使用者会从自身角度出发制定一个密码关键词,实行隐私的保护。但是这种形式存在一定的安全问题,不法分子通过某种攻击方式就可获取,例如,分析词频、文件、关键词攻击等。
(2)不可关联性陷门, 陷门的安全性是在确保相同结合关键词的前提下实行的,如果在陷门中没有满足此类要求,那么在一定程度上也会造成关键词的外泄。
(3)接入模式,现阶段很多接入模式并没有列入保护搜索的内容中,主要原因是因为往内接入模式是通过获取密码信息来实行隐私保护的一种运作形式,实际应用代价较大,范围规模过大不利于现实应用。
2.3 基于对称密钥的可搜索机密方案
现阶段基于密钥的可搜索机密方案具有一定的局限性,首先在整个系统运行中在数据使用者数量方面有限制,并且实际运行效率普遍偏低,且缺乏一定的使用价值。基于对称密钥的可搜索机密方案主要指的是在基础内容的范围上对进行搜索的用户和数据的使用者进行实行信息共享,众多专家针对这种技术分为提出了相应的具体方案,但是普遍来说均是采用一个关键词进行搜索的方式来尽可能的简化运算程序和步骤,但是这种方式运作效率较低,且无法确保最后搜索出得到的结果的准确性。
2.4 基于非对称密钥的可搜索机密方案
与基于对称密钥的可搜索机密方案不同的是,非对称方案是只要拥有授权密码的用户在服务器中进行相关搜索行为的都可以使用,但是同样也是不支持多个关键词自由进行搜索,现阶段基于非对称密钥的可搜索机密方案主要应用在用户数量较多的互联网模型中。
3 保护隐私的云存储数据完整性审计
隐私数据在云存储服务器中是否能够在完好存入后,又可以完整性的取出是当前很多操作用户关心的主要问题之一,但是这种情况给现阶段任务存数量大的云存储服务器来说带来了不小的压力和负担,因为这种隐私数据的完整性审计会消耗大量的网络带宽。针对这种情况,相关的研究学者提出可以通过群组有效用户采用消除云端数据的完整性审计措施,这种方案在运行的过程中主要减少了用户的负担,并将维护完整性数据所需要的消耗成本转移给云端进行承担,但是这种方案在设计的基础上,还要充分考虑多个审计任务同时进行的情况,加大ag凯发旗舰厅的技术支持,并对方案内容进行全当面的拓展,保证在多个任务下的审计能力支持,提高保护审计效率,减少审计时间。
4 云存储数据的确定性删除技术
最后,如何将使用者不需要的数据进行安全销毁成为了现阶段安全性技术讨论的热门话题,云存储隐私数据服务是对外在数据进行密码保护,在这种情况下的数据销毁也是实现对其文件密码进行销毁的过程,在这种运行方案的发展环境下,专业研究学者提供针对较强安全假设密码,进行删除技术方案设定。例如,可以利用云存储数据安全删除的措施,实现密码统计和分享,并进行周期性的密码数据删除,在一定程度上确保整个过程的安全性,但那时同时整个过程将会消耗大量的计算成本和宽带通信。
5 总结
公共云存储服务信息的安全和隐私保护需要多方面的综合机制和删除技术来共同实现和完成,如何在现有研究的基础上,将理论与实践相结合, 提高运作效率,缩小审计时间,是一个长期研究的过程。本文对公共云存储服务数据安全及隐私保护技术内容进行了简要探析,希望对公共云存储服务系统的发展发挥积极的促进作用。
参考文献
[1]李瑞轩,董新华,辜希武等。移动云服务的数据安全与隐私保护综述[j].通信学报,2013(12):158-166.
[2]孙辛未,张伟,徐涛。面向云存储的高性能数据隐私保护方法[j].计算机科学,2014(05):137-142.
[3]赵铁柱,袁华强。高性能的云存储安全网关设计与实现[j].计算机应用与软件,2014(11):135-138.
数据云存储方案 篇八
优势多多 挖掘价值
在传统存储中,大多数企业通过不断地增加磁盘、阵列和服务器,以便能够满足业务的存储需求。但是,随着时间的推移,不仅增加了存储系统所占成本,增加管理难度,而且这些企业的数据中心都会面临存储分散的问题,数据存储在数据中心的磁盘和系统,遍布企业内部,给数据的集成和分析带来诸多障碍。
同时,数据的无节制增加和web2.0应用的兴起也迫使人们重新思考存储的实现。云存储作为其中的一个解决方法,具有自身的优势。
就目前来看,企业数据存储系统的部署成本比较高,而且这些成本会随着数据量的增加而不断地增加。采用云存储后,可以将大部分的数据转移到云存储上,这样可以大大降低存储系统的部署成本。云存储是供应商通过互联网提供的存储服务,用户按照使用来交付费用,虽然从长期来看其成本可能与购买的成本相差不大,但是短期内可以缓解企业的成本压力。
云存储的另一个好处是管理优势。云存储系统不仅要提供类似于posix的传统文件访问,还能够支持海量数据管理并提供公共服务支撑功能,以方便云存储系统后台数据的维护。这一点与传统存储很相像,但根本区别在于存储介质发生了改变。传统存储的介质是各种物理硬盘,但是云存储的存储介质是虚拟的网络云。
云存储还可以实现量身定制。该优势主要是针对于私有云模式。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案,或者可以是企业自己的it机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务,而且还能在一定程度上降低安全风险。
同时,云存储让分享变得更加容易,云存储可以实现信息到云端的快速备份,然后通过各种终端访问这些信息。比如,对一些视频信息的访问,这样用户就可以利用云存储去分享更多的内容。还可以很方便地实现团队协作。
克服障碍 助力成长
就目前来说,云存储具有很大的潜力,虽然很大一部分企业正在考查云存储的可行性,或者准备上马云存储ag凯发旗舰厅的解决方案。但是云存储的发展还会受到诸多因素的影响。
首先,带宽问题是阻碍云存储发展的最大障碍。单从显性成本来看,云存储服务的成本远远低于企业自建的存储。但是有些企业之所以不选择云存储服务,关键是因为繁重的运输流量会加重带宽的费用。如果没有宽带网络的发展,大容量数据的传输就不可能实现,云存储也就不可能实现。
其次,安全性和可用性也是云存储普遍面临的障碍之一。将企业数据和信息迁移至云中的做法,会让企业用户数据的安全性和可用性受到云存储服务供应商的牵制。所以,要通过cdn内容系统、数据加密技术来保证云存储中的数据不能被未授权的用户获得。
但是,云存储作为一种新的存储技术,与一般的存储设备相比还是具有很大的优势。
使用传统存储设备的企业,需要根据业务发展来不断购置存储设备,并且需要搭建平台以便有效实施企业信息化的管理。这样企业就浪费了很多时间和金钱,从而企业就不能专注于自身业务。如果使用云存储服务,企业在这些方面的投入就会小很多。使用云存储服务的企业只需要配置必要的终端设备接收存储服务就可以,这样企业就可以节省成本。
另外,企业使用云存储以后可以根据自身业务需求向供应商提出自己的要求,具有强大ag凯发旗舰厅的技术支持的云存储服务商就能够很快地根据企业业务需求更改系统,及时满足企业业务发展需要。而且云存储的维护和升级都由云存储服务提供完成,企业自身只需要付款即可。这样,企业节省了人力成本,也节省了费用。
hds、emc、netapp、戴尔等专业存储供应商先后把云存储作为今后企业战略调整的关键。hds即将推出的统一计算架构ag凯发旗舰厅的解决方案包括了刀片服务器、存储、网络和软件,其中日立有能力提供刀片服务器、存储和软件。除了atmos平台以外,近期,emc高调宣布注资富通公司,其目的就在于虚拟化和私有云建设。netapp也将渠道的重点放在拓展系统集成商和云存储业务上。从渠道入手,将云存储ag凯发旗舰厅的解决方案的销售、部署和服务作为工作重点。戴尔公司更是通过各种措施展示了其强而有力的云存储战略。亚马逊s3、谷歌drive等互联网公司的云存储产品也发展得如火如荼。
改变现状 实现融合
云计算被视为科技产业的下一次革命,它将带来商业模式的根本性改变,云存储作为云计算的延伸领域已经逐渐成为新经济环境下企业不可忽视的关键点。现在人们谈论的各种各样的云,不管是公有云、私有云,还是混合云,或者是各种行业云,云已经走入人们的视野,抓住了人们的眼球。基于云计算的服务也层出不穷。而涉及到云存储,人们已经开始谈论如何简化管理,如何让企业应用从孤岛到融合等。
云存储通过集群应用、网格技术或分布式文件系统等手段,将网络中各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。对于公司cio来说,云存储意味着一个更加高效、安全、灵活的存储架构。云存储的诸多优势可以帮助企业减少存储管理的开销、降低能源的消耗和提高存储空间利用率。
部署云存储过程中遇到的主要问题是,如何将原来存储的数据整合到云存储中,以及如何保证云存储的数据安全、访问权限和数据调用的可管理性。云存储给企业it架构带来了较好的整合效果,尤其是实现了网络基础架构的融合。
数据云存储方案 篇九
三年冲前五
曙光公司为何会如此高调地宣布全面进军存储市场呢?“存储市场的巨大空间和曙光发展转型的内在要求促使我们在存储方面做更大的投入。”曙光公司首席运营官王正福解释说。
从曙光公司自身业务的发展来看,其存储业务正面临一个爆发点。idc的2011年中国大陆地区存储业务统计分析报告显示,曙光公司以3.4%的市场占有率位列所有厂商中的第八名、国产存储厂商中的第三名。曙光公司存储业务平均年增长率达到50%左右。这让曙光公司在存储方面的发展更有底气。
曙光公司存储产品总监惠润海宣布了曙光存储未来的目标:“三年后,曙光存储要占据10%的市场份额,进入存储行业第一梯队,排名前五,同时还要成为海量存储专家和云存储市场上的领先厂商。”
冲击存储市场前五名,对曙光公司来说是机遇与挑战并存。从有利的方面看,中国的云计算和数据中心市场容量巨大,曙光公司依托其不断丰富的存储产品线和日益完善的渠道销售体系,达到预期的增长量是完全有可能的;相对于国外市场来说,中国存储市场的发展滞后2~3年,曙光公司正好可以打个时间差,利用自身的研发优势,逐步缩小与国外厂商之间的技术差距;数据存储关系到国家战略以及行业信息安全,因此在很多的应用中必须使用中国厂商的产品和ag凯发旗舰厅的解决方案,这给曙光存储业务脱颖而出提供了机会。从不利的方面看,由于数据量增长迅猛,而且数据类型日益多样化,这给数据的存储和管理增加了难度,因此曙光公司必须加快存储技术的创新速度,不断提升产品的性能;综合来看,国外厂商在存储技术的先进性,特别是品牌的认知度方面优于国内厂商,曙光公司必须在这方面迎头赶上。
parastor仍是核心
在存储战略会的现场,曙光公司展示了其全系列的存储产品,其中不仅包括das、nas、ip san和fc san等基于传统架构的存储产品,还包括了高密度存储服务器、并行存储系统、备份存储系统、海量结构化数据存储系统以及云存储ag凯发旗舰厅的解决方案等。目前,曙光公司共拥有三条存储产品线,包括通用存储、海量存储产品以及云存储产品,其中以parastor并行存储系统为代表的海量存储产品仍是曙光公司存储产品的重中之重。
parastor是一款用于海量非结构化数据处理的高端存储系统。它采用横向扩展架构,可以实现性能与容量的同步线性扩展,具有很高的可靠性、可扩展性、灵活性和经济性,并具有出色的性能和统一管理监控平台。
parastor并行存储系统与曙光的高性能服务器称得上是最佳搭档。惠润海介绍说:“如今parastor已经成了曙光高性能服务器的标配。我们每销售一套高性能服务器,其中就会配备一套parastor并行存储系统。”曙光parastor并行存储系统已经成功应用在多个行业,比如部署在深圳超算中心的曙光“星云”系统就采用了parastor200,其最大存储容量达到16pb。惠润海表示,parastor200不仅可以为华南地区的高性能计算用户提供存储支持,而且在深圳市的智能交通应用中也扮演着十分重要的角色。
在会现场,曙光公司宣布,其第1000台parastor正式下线,这表明曙光公司已经在海量存储市场上站稳了脚跟。曙光公司要将parastor打造成高性能计算、互联网、广电以及云存储领域的主要支撑存储平台。“在过去5年中,曙光公司在高性能计算市场上一直保持领先地位,而高性能计算对应的正好是海量存储,这也是parastor能够实现快速发展的一个重要原因。”惠润海表示,“从技术架构上看,服务器与存储的融合是一种趋势。sbb(storage bridge bay,存储桥接舱)存储标准的发展推动了存储平台向x86架构转换。软件加存储服务器的组合将是未来云存储和大数据存储应用的常态,这同时也是曙光存储未来的产品研发方向。”
parastor是曙光公司自主研发的重要成果。据惠润海介绍,曙光公司目前研发经费的1/3都用于存储研发。“未来,软件、海量存储以及云存储将是我们存储研发的主攻方向。”惠润海表示。
云盘面向企业用户
除parastor并行存储系统以外,曙光存储业务另一个快速增长点就是云存储。从2009年开始,曙光公司就开始了云存储的研发。曙光公司的云存储解决方面涵盖云存储管理、云存储应用、海量数据管理等内容。惠润海表示,曙光公司的云存储发展战略可以从横、纵两个维度来描述:从横向来看,曙光云存储方案将横跨云存储、云计算、云安全和云运营, 并将努力实现上述内容的协调一致;从纵向来看,曙光将研发更大容量、更高性能的云存储硬件平台,并将持续更新虚拟化资源调度与管理软件。
在云存储方面,曙光公司将把战略发展重点放在私有云上。曙光公司此次的云存储新品——曙光云盘,就是一个面向企业级用户的云存储ag凯发旗舰厅的解决方案。曙光云盘面向的是企业用户,而非个人用户。它有两种应用方式:第一,曙光公司将云盘作为一种私有云的ag凯发旗舰厅的解决方案提供给企业用户,让用户基于曙光云盘构建自己的私有云服务体系;第二,曙光公司通过其下属的云计算运营公司,将曙光云盘作为一种云存储服务提供给企业用户。
曙光云盘是一个基于云计算理念的文件数据集中管理平台。它采用分布式架构设计,以文件同步技术为基础,融合了云存储、智能同步、细分存储权限、移动终端等技术,并以曙光服务器和云存储基础架构产品为支撑,可为企业用户提供文件数据存储、共享、管理、同步、备份以及中转服务。惠润海概括说:“曙光云盘具有四大特点,即整体交付、无缝结合、功能丰富和灵活控制。曙光云盘实现了软硬件的集成,可以实现统一管理。曙光云盘还具有许多实用的功能,比如秒传机制、云相机功能,并可实现微博共享。”除了曙光云盘,曙光云存储产品线还包括dcstor100存储虚拟化控制器、dcstor100私有云存储系统以及dbstor备份存储系统。这些产品构成了曙光云盘坚实的后端存储平台。
曙光ag凯发旗舰厅的解决方案中心副总经理王勇介绍说,曙光存储产品已经广泛应用于教育、政府、广电、互联网等多个行业。为了深化行业存储应用,曙光公司还重点推出了包括备份容灾ag凯发旗舰厅的解决方案、电子政务ag凯发旗舰厅的解决方案、非线编系统存储ag凯发旗舰厅的解决方案、数字化医疗ag凯发旗舰厅的解决方案、视频监控ag凯发旗舰厅的解决方案、高性能计算并行存储ag凯发旗舰厅的解决方案、区域卫生信息平台ag凯发旗舰厅的解决方案在内的七个存储ag凯发旗舰厅的解决方案。
记者手记
中国存储厂商的新机遇
有人说,云时代的到来给了国内外厂商一个站在同一起跑线上的机会。但是国外厂商的普遍观点是,他们长期以来在技术、产品和ag凯发旗舰厅的解决方案上的优势在云时代会得到进一步增强。那么在云存储市场上,中国厂商与国外厂商之间的距离会进一步拉大吗?曙光认为,我们必须正视中外存储市场及厂商之间的差距,但是在云存储市场上,这种差距正在逐步缩小。从技术方面看,曙光一直坚持自主研发,并且在并行存储、云存储等技术方面取得了突破,并受到广大中国用户的青睐;从市场和服务层面看,由于受到一些客观条件的限制,以及出于信息安全方面的考虑,国外厂商如果想在中国提供云存储服务可能会受到一定约束,而曙光在云服务方面已经全面出击,仅在2012年就准备在国内建立8~10个云计算数据中心,云服务让曙光拥有了更多用武之地。
读书破万卷下笔如有神,以上就是差异网为大家整理的9篇《数据云存储方案》,能够帮助到您,是差异网最开心的事情。