前言:我们精心挑选了数篇优质企业数据存储方案文章,供您阅读参考。期待这些文章能为您带来启发,助您在写作的道路上更上一层楼。
【关键词】海量数据;电力企业;存储
1 引言
在电力行业,坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合,信息通信系统已经成为智能电网的“中枢神经”,支撑新一代电网生产和管理发展。目前,电网公司已初步建成了国内领先、国际一流的信息集成平台。随着各地集中式数据中心的陆续投运,一级部署业务应用范围的拓展,结构化和非结构化数据中心的上线运行,电网业务数据从总量和种类上都已初具规模。随着后续智能电表的逐步普及,电网业务数据将从时效性层面进一步丰富和拓展。电网业务数据将跨入海量数据时代,如何处理这些海量数据已成为电力企业信息管理首要解决的问题。而在海量数据的处理中,如何有效地保存和恢复数据就成了这些问题当中的首要问题。
2 海量数据特征
海量数据按照数据结构来进行划分,可以划分为结构化数据和非结构化数据两大类。
(1)结构化数据:简单来说就是数据库, 即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。结合到典型场景中更容易理解,比如企业ERP、财务系统;医疗HIS数据库;教育一卡通;政府行政审批;其他核心数据库等
(2)非结构化数据:相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 非结构化数据库是指其字段长度可变,并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库,用它不仅可以处理结构化数据(如数字、符号等信息)而且更适合处理非结构化数据(全文文本、图象、声音、影视、超媒体等信息)
按照数据的时效性而言,海量数据又可划分为实时数据和离线数据两类。
实时数据:实时数据一般用于金融、移动和互联网B2C等产品,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用户体验的目的。要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,这些无疑都需要比较高的软硬件成本。目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等。
离线数据:对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,应采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析平台。但面对海量数据,传统的ETL工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。互联网企业的海量数据采集工具,有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等,均可以满足每秒数百MB的日志数据采集和传输需求,并将这些数据上载到Hadoop中央系统上。
3 企业海量数据存储现状
3.1 海量数据导致存储成本、维护管理成本不断增加
大型企业都面临着业务和IT投入的压力,与以往相比,系统的性能/价格比更加受关注。GIGA研究表明,ROI(投资回报率)越来越受到重视。海量数据使得企业因为保存大量在线数据以及数据膨胀而需要在存储硬件上大量投资,虽然存储设备的成本在下降,但存储的总体成本却在不断增加,并且正在成为最大的一笔IT开支之一。另一方面,海量数据使DBA陷入持续的数据库管理维护工作当中。
3.2 海量数据缺乏快速备份与灾难恢复机制
传统的数据库备份技术,如通常采用的磁带备份方式,不能运用于海量数据,因为磁带备份将使备份时间增加,需要几小时-几天,不仅影响了生产,而且增加了备份的难度,使得备份/恢复变得缓慢而且不可靠,几乎无法在固定的时间窗口完成备份工作。另外,第三方备份软件隐含的成本代价如成本开销、复杂度、昂贵的实施等也是企业需要考虑的。因此海量数据安全显得异常重要,只有通过引入有效的备份、方便高效的备份恢复技术,才能满足海量数据安全的需要。
4 存储解决方案概述
在海量数据存储中我们主要考虑的是大数据的存储,虽然现行的商业平台也能满足非结构化数据的存储,但问题主要出在系统可扩展性和建设费用上。对于庞大的非结构化数据存储产生的I/O瓶颈问题和昂贵的服务器价格不得不使我们另谋出路。
Hadoop的分布式文件系统HDFS出现恰好解决了商业平台中的I/O瓶颈和服务器价格昂贵问题。Hadoop的优势体现在以下几个方面:
(1)Hadoop依赖于低端服务器甚至是普通计算机,相对于商业平台的高昂成本,它的成本要低得多,几乎可以说任何人都可以使用它,哪怕是信息化成本预算较少的小微企业;
(2)HDFS与Map/Reduce紧密集成是Hadoop分布式计算的存储基石。它有自己明确的设计目标那就是支持大的数据文件大至T级,并且这些文件以顺序读取为主,以文件存/读的高吞吐量为目标。在使用HDFS分布式文件系统存储非结构化文件后,将提高我们系统的存储文件速度;
(3)HDFS的数据恢复能力也保证了系统的安全可靠性,可靠性体现在它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。
(4)同时支持存储节点的热插拔和可以在普通PC机上存储非结构化文件,这不但提高了系统的扩展灵活性,还大大降低了企业在硬件方面的投入
5 应用架构
在本存储解决方案中,我们选择了Hadoop作为数据文件存储机制,Hadoop中的HDFS存储数据可以选择普通的PC机器作为数据节点,这大大的降低了存储数据所需要昂贵存储设备价格,并且在数据存储过程中,HDFS拥有很好的数据容灾机制。
6 HDFS
Hadoop的存储主要使用HDFS来进行管理,HDFS是一个分布式文件存储系统。HDFS起源于Apache Nutch Web 搜索引擎项目。
对于HDFS分布式文件系统中的块进行抽象会带来很多好处:
(1)文件的大小可以大于网络中任意一个磁盘的容量,文件的所有块不需要存储在同一个磁盘上,因此他们可以利用集群上的任意一个磁盘进行存储。
(2)使用块抽象而非整个文件作为存储单元,大大的简化了存储系统的设计。简化是所有系统的目标,但对于故障种类繁多的分布式系统来说尤为重要。
(3)块非常适合用于数据备份,进而提高数据容错能力和可用性。
6.1 HDFS架构
6.2 HDFS文件存储方式使用大块的原因
HDFS的块比磁盘大,其目的是为了最小化寻址的开销。如果块设置的足够大,从磁盘传输数据的时间可以明显的大于定位这个块开始位置所需的时间。这样,传输一个由多个块组成的文件的时间取决于磁盘的传输速率,由此可见适当的设置磁盘块空间大小可以加快数据读写效率。
6.3 HDFS的集群管理模式
HDFS集群有两类节点,并以管理者――工作者模式运行,即一个namenode(管理者)和多个datanode(工作者)。管理者管理文件系统的命名空间,它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像和编辑文件日志。工作者也记录着每个文件中各个块所有在的数据节点信息,但它不永久保存块的位置信息,因为这些信息会在系统启动时由数据节点重建。
6.4 HDFS文件写入方式
客户端通过调用HDFS类DistributedFileSystem对象调用create()函数来创建文件,在此时文件系统的命名空间中创建了一个新文件,但该文件还没有相应的数据块。管理者(namenode)执行各种不同的检查确保当前创建的文件不存在,并且客户端有创建该文件的权限,如果检查通过则创建新文件记录;否则,文件创建失败并抛出异常。在客户端写入数据时,数据被分成一个个的数据包,并写入内部队列,HDFS的DataStreamer处理数据队列,它的责任是根据工作者(datanode)的队列列表要求管理者(namenode)分配适合的新块来存储数据备份。如下图
7 实现功能
海量数据存储部分主要包含了三部分的功能:数据采集、数据存储与备份、数据分析,如图所示:
7.1 数据采集
海量数据存储采用开放上传接口的方式进行被动数据采集,各业务平台通过向上传接口传递业务平台标识、文件信息标识和文件信息的二进制流的方式将文件打包传送到非结构化数据管理平台,非结构化数据管理平台通过业务平台标识对传输过来的文件进行分类解码存储。
7.2 数据存储与备份
海量数据管理在接收到各业务平台发送过来的文件后,根据业务平台标识在HBASE中生成文件信息数据,同时将文件存储至HBase中。
7.3 数据分析
基于已存储的数据,可以分析各业务平台的数据量,数据高峰的周期,从而适时调整数据存储策略,为不同的业务应用制定不同的存储计划,充分体现系统存储的灵活性,提升海量数据的存储效率。
8 方案总结
关键词:企业 数据保护 数据存储
中图分类号:TP391 文献标识码:A 文章编号:1007-3973(2011)008-075-02
80年代以后,以IT技术为代表的信息产业迅速崛起,给我们的生活和思维带来了强大冲击。与此同时,顺应信息发展的需求,各种企业也开始纷纷建立起属于自己的信息网络平台,包括电子商务和网站管理等系统。于此而来的是相应数据量的不断增长以及新的数据管理的应用而生,数据保护和存储安全问题开始愈来愈受到各企业的关注和深思。目前,企业数据库己呈现出了不可预计庞大的增长态势,数据正日益成为公司的实际资产之一。据相关组织的保守估计推测,企业数据每年大约增加80%。
1 存在的问题
20世纪,企业对重要文件的保护主要是借助于保险柜保存,并派人保护。到了2l世纪,企业开始全面实行自动化办公,计算机网络成为信息的数据化处理与存放的工具。然而,由于计算机的共享性和扩散性特性,使得信息在处理、存储、传输的过程中存在很容易被泄露、窃取的风险。据调查,至2007年上半年,瑞星公司接受求助的受害用户已经达到10多万人。接着信息保密技术跟进,企业的信息安全隐患更加得到重视,管理者不再简单满足于防火墙等初级防御手段,企业数据保护和存储安全解决新方法亟待出现。当前出现的问题有:(1)移动磁盘泄密,造成该现象的主因是将数据存放于不安全的移动磁盘中,并且没有将数据进行有效的加密。(2)word文档泄密,主要是一些破解软件乘机下手,使数据丢失。(3)打印机泄密,现在企业大多采用碎纸机可以将无用的或遗漏的文件切成粉末,使之无法还原,但是虚拟中的粉碎我们视而不见。(4)邮件泄密,它是通过一种网络病毒来伪造收件人的地址,从而欺骗阅读者。根据最新IT Policy ComPliance Gro-up报告显示:公开报道数据丢失的企业预计将会导致客户及收入降低8%;对于上市公司而言,每股股价会下降8%。
2 企业数据保护措施
2.1数据备份
对于一个企业来说,提供可靠的数据保护是至关重要的,也是企业核心竞争力的重要王牌。其中最有效的保护数据的手段是数据备份。而以磁带系统为核心的数据备份是企业数据保护的一个重要手段。该系统不仅能保证大容量数据的安全,并且在数据发生灾变时,可以在短时间内完成数据的恢复,保证企业中各种业务系统的正常运做,是数据安全保护的必然选择。有权威统计表明:93%的公司会由于为期10天或以上的数据中心灾难,而导致在灾难发生的一年内破产。为此,中小企业需要适合自己的数据保护解决方案,以保证业务的连续性运作。
2.2生物特征识别技术
随着电子信息量的急速膨胀,电子文档的保护也成为全球关注的问题。在电子文档保护中使用生物特征识别技术来加以保护,也被普遍认为是电子文档保护的最优方案。但为了方便文档在合法前提下共享的便利性,必须以解密密钥的生物特征模板以某种形式整合到文档内部,这形成了很大的破解风险。寻找更严密的电子文档保护方法,也成为电子信息安全领域中具有挑战性的研究之一。清华大学研究人员设计了一种基于指纹身份验证技术和移动密钥的电子文档保护方法。该方法在执行身份验证时,不但要求用户提供指纹作为验证依据,而且要求用户提供与本人身份相符的移动密钥。
2.3企业机密电子数据保护
企业机密电子数据和企业发展密切相关,加强对这些电子数据的安全存取保护是目前企业最为关心的一个问题。根据企业实际安全需要,采用非主动加密的思想,通过完善的网络安全管理结构,密钥管理服务器和电子数据的安全存取机制,建立了一种适应企业安全需求的企业电子数据安全监控系统。该系统通过密钥服务器实现对密钥的透明访问,以及对企业机密电子数据的透明加解密处理,确保了企业机密电子数据的安全。如CDP(Contimuous Data Pro-tection,持续数据保护)计划。最近,SafeNet和Aladdin正式进行合并,公司将保护全球最多的电子银行交易、提供最多的数字身份认证产品、提供最多的软件保护产品,将进一步带动机密电子数据保护的大发展。而赛门铁克公司也推出了市场领先的企业数据保护解决方案Veritas NetBackup 6.5。凭借NetBackup平台,企业可获得前所未有的灵活性和多样选择等最佳性能,帮助企业在复制、快照、持续数据保护、重复数据删除、加密、虚拟磁带和传统磁带中选择一流的技术。
3 企业数据存储安全措施
存储是一种服务,这是比较新的概念。从数据中心到桌面及整个技术存储线,关键解决围绕在信息周边的安全问题。过去,存储被看成是受至于服务器访问控制和文件系统特权保护的“子系统”,而现在,存储已成为基于高速的光纤通道、光学传输等为一体的智能的、多协议的网络服务。安全存取技术分析是以电子计算机主要的安全技术为主线,针对不同的问题提出相应的解决方法的,如企业电子数据的安全存取保护。目前,企业电子数据安全存取解决方法,主要的有逻辑加密盘技术、文件系统监视器、电子文件保险箱。其中逻辑加密盘技术的基本思想是在操作系统上增加设备管理的内核服务,为用户提供用于保存电子文档的虚拟盘。文件系统监视器主要是监视所有文件系统中活动的应用程序。电子文件保险箱主要保证电子文档的存储安全,相当于将电子文档存放在一个“保险箱”中。但仅仅这些努力是不够的,对于一个企业的生死存亡来说,机密电子数据的存取是绝对要重视的。
3.1虚拟磁带库
对于小型企业来说,选择存储产品应该从两点来考虑,首先要根据业务实际产生的数据量;其次是考虑业务数据的增长量。目前比较流行的存储系统解决方案有磁盘阵列、虚拟磁带库和磁带库等。借助基于虚拟磁带库的磁盘备份,中小企业就可以实施更快的流程,并且在查找、检索数据时几乎不会出现差错,减少了对以往磁带备份的依赖,在节省大量成本的同时,还可获得更可靠的备份流程,让数据保护更加简单。如AIO+D2D+自动加载机的出现。AIO是惠普公司推出的一款面向中小企业的一体化网络存储系统。借助AIO,中小企业无需中断应用即可进行备份,实现可靠的数据保护。现在,借助HP StorageWorksVLSl000i和迷你虚拟磁带库产品,中等规模企业和远程公司、分公司得以使用全新的解决方案。
EMC Isilon:横向扩展 性能突出
大数据存储不是一类单独的产品,它有很多实现方式。EMC Isilon存储事业部总经理杨兰江概括说,大数据存储应该具有以下一些特性:海量数据存储能力,可轻松管理PB级乃至数十PB的存储容量;具有全局命名空间,所有应用可以看到统一的文件系统视图;支持标准接口,应用无需修改可直接运行,并提供API接口进行面向对象的管理;读写性能优异,聚合带宽高达数GB乃至数十GB;易于管理维护,无需中断业务即可轻松实现动态扩展;基于开放架构,可以运行于任何开放架构的硬件之上;具有多级数据冗余,支持硬件与软件冗余保护,数据具有高可靠性;采用多级存储备份,可灵活支持SSD、SAS、SATA和磁带库的统一管理。
通过与中国用户的接触,杨兰江认为,当前中国用户最迫切需要了解的是大数据存储有哪些分类,而在大数据应用方面面临的最大障碍就是如何在众多平台中找到适合自己的解决方案。
EMC针对不同的应用需求可以提供不同的解决方案:对于能源、媒体、生命科学、医疗影像、GIS、视频监控、HPC应用、某些归档应用等,EMC会首推以Isilon存储为核心的大数据存储解决方案;对于虚拟化以及具有很多小文件的应用,EMC将首推以VNX、XtremIO为核心的大数据存储解决方案;对于大数据分析一类的应用需求,EMC会综合考虑客户的具体需求,推荐Pivotal、Isilon等一体化的解决方案。在此,具体介绍一下EMC用于大数据的横向扩展NAS解决方案——EMC Isilon,其设计目标是简化对大数据存储基础架构的管理,为大数据提供灵活的可扩展平台,进一步提高大数据存储的效率,降低成本。
EMC Isilon存储解决方案主要包括三部分:EMC Isilon平台节点和加速器,可从单个文件系统进行大数据存储,从而服务于 I/O 密集型应用程序、存储和近线归档;EMC Isilon基础架构软件是一个强大的工具,可帮助用户在大数据环境中保护数据、控制成本并优化存储资源和系统性能;EMC Isilon OneFS操作系统可在集群中跨节点智能地整合文件系统、卷管理器和数据保护功能。
杨兰江表示,企业用户选择EMC Isilon的理由可以归纳为以下几点。第一,简化管理,增强易用性。与传统NAS相比,无论未来存储容量、性能增加到何种程度,EMC Isilon的安装、管理和扩展都会保持其简单性。第二,强大的可扩展性。EMC Isilon可以满足非结构化数据的存储和分析需求,单个文件系统和卷中每个集群的容量为18TB~15PB。第三,更高的处理效率,更低的成本。EMC Isilon在单个共享存储池中的利用率超过80%,而EMC Isilon SmartPools软件可进一步优化资源,提供自动存储分层,保证存储的高性能、经济性。第四,灵活的互操作性。EMC Isilon支持众多行业标准,简化工作流。它还提供了API可以向客户和ISV提供OneFS控制接口,提供Isilon集群的自动化、协调和资源调配能力。
EMC Isilon大数据存储解决方案已经在医疗、制造、高校和科研机构中有了许多成功应用。
方案点评
EMC Isilon是一个强大但简单的横向扩展NAS方案,适用于希望投资数据管理而不是单纯存储的企业。当初,EMC将收购来的分布式数据仓库软件厂商Greenplum的软件与Isilon存储组合成了EMC最早的大数据解决方案。用户既可以分开选择Greenplum软件或Isilon存储,也可以选择由Greenplum软件和Isilon存储组成的一体机解决方案。现在,Greenplum软件虽然已归Pivotal公司,但EMC是Pivotal的经销商与合作伙伴,Greenplum与Isilon存储的组合方案并不会因此受到影响。
HDS UCP:统一平台 应用优化
HDS中国区解决方案与专业服务事业部总监陈戈认为,大数据存储应该是一个解决方案:“大数据解决方案是由基础架构的各部件组成的,包含数据存储、计算和分析,而存储是此架构中的一部分。”
大数据的存储类型与传统的存储类型有一定区别:在大数据存储中,更多的应用是一次写、多次读,读得更多是大数据存储的一个特点,而在传统的数据存储中,读写是随机的,由于每个应用不同,其读写的比例也是随机的;大数据存储需要具有横向的可扩展性,并可支持多种接口、多种数据访问协议,便于不同数据进入这个大数据平台。
谈到中国用户在大数据存储应用中最迫切的需求是什么,陈戈认为,中国用户最迫切的需求是如何逐步实现大数据应用,即用户从现有的模式如何过渡到大数据,如何更好地利用大数据进行经营分析。
大数据的经典定义可以归纳为四个“V”,但企业不可能一步到位实现四个“V”,这需要一个循序渐进的过程。海量的、多种类型的数据是一次性全部载入到大数据中,还是通过现有的平台进行数据初选,再导入到大数据平台中,是两种不同的实现途径。“先通过现有平台进行数据初选,再导入到大数据平台,这种方式更适合于客户逐渐实现大数据,可以缩短用户实现大数据应用的时间。”陈戈表示,“大数据主要是非结构化数据。用户可以使用基于对象数据存储的HCP,利用其独特的元数据采集和智能工具,对非结构化文件数据进行管理,实现智能的自动化,这有助于对数据进行深度分析,帮助客户从单一系统中存储、共享、同步、保护、保存、分析和检索文件数据,减少垃圾数据,进而为大数据分析建立一个良好的基础。”
谈到用户在大数据应用中遇到的主要障碍,陈戈表示,一方面,应用软件本身的智能程度是否能满足行业应用需求,应用软件是否已经成型,大数据人才是否具备等,是让大数据应用落地的关键;另一方面,如何抽取数据,放在大数据平台中进行相应的计算是另一个关键问题。
HDS可为所有数据提供单一、可扩展的虚拟化集成平台。HDS推出了“三步”云战略,从基础架构、内容和信息三个层面帮助客户解决目前所遇到的问题。具体来看,通过“基础架构云”,HDS可以帮助客户进行虚拟化和集成管理,实现数据中心的整合;在第二层的“内容云”当中,HDS可以按需提供内容,更可以不受应用限制地进行数据搜索和集成;在第三层的“信息云”中,针对所有数据类型,HDS在其存储平台中融入了分析功能,使客户可以从数据信息中获取洞察力。
HDS提供的UCP for SAP HANA集成了基于大量数据集的创新和内存分析技术,并提供实时的洞察力,从而使当前的信息驱动型企业可以加快其商业决策的速度。陈戈介绍说,UCP for SAP HANA解决方案结合了HDS刀片服务器技术、企业级存储系统和业内领先的网络组件,在这样一个集成的、高性能的硬件平台上可以快速交付SAP下一代内存计算技术。全球已有超过200家客户在使用HDS和SAP的大数据解决方案。
方案点评
其实,HDS的“三步”云战略也可以看成是其大数据战略。HDS借助以UCP为核心的大数据平台,可以帮助企业用户构建从基础架构到内容归档和搜索,直至信息提取和分析的全面、高效的大数据解决方案。HDS的“信息云”直接与大数据相关。UCP是一个集成了计算、存储与网络的一体化平台,它既可以提供像一体机一样的整合性、简单性,又可以提供灵活的选择,连接第三方的设备组件。HDS还通过与包括SAP在内的众多大数据分析类的合作伙伴合作,针对行业定制优质的大数据解决方案。
HP StoreAll :快速部署 极速搜索
中国惠普有限公司企业集团存储产品部存储架构师张楠向记者表示,大数据存储是一套解决方案,应该能够对大数据的Volume、Velocity、Variety和Value四个方面提供全面的支持。
第一,大数据存储要支持海量级的数据存储,比如具有PB级的存储能力。第二,大数据存储要支持更高的存储速度,支持10Gb甚至更高的网络连接。第三,大数据存储要支持数据的多样性,如图片、文本、视频、音频等。第四,大数据最重要的是价值的体现,而为了实现这一点,存储本身应该具备快速、智能的数据检索能力。“在存储的最底层提供最直接、快捷的数据检索。这一过程简单说就是,将上层的数据挖掘工作下移,充分利用存储强大的处理能力和数据识别能力。”张楠举例说,“比如,在秒级的单位内对数据进行极速的搜索, 从几千万甚至上亿个文件中找到目标数据。”
另外,模糊查询能力也是大数据存储不可缺少的功能。智能的模糊查询将为大数据平台提供更加便捷的存储服务能力,使得存储更像一台智能的高速计算设备。
目前,很多中国用户在存储厂商的引导下,片面追求存储的大容量和高性能,而忽略了大数据存储本身应该提供的其他额外属性。中国用户在实施大数据的过程中经常遇到的障碍有以下两方面:第一,无法将存储与大数据平台进行对接;第二,无法充分利用大数据存储的价值,也很难将其运用到实际的业务中。张楠表示,究其原因,主要在于有些大数据存储产品没有开放的接口协议,或没有针对用户的大数据场景进行特别优化,也没有用户容易接受的易用的管理方式等。
惠普在大数据方面可以提供软硬结合的解决方案。惠普在收购Autonomy公司之后,将其软件与惠普的硬件平台进行了整合, 形成了一套完整的大数据解决方案。张楠介绍说,在存储方面,惠普拥有像StoreAll这样的大数据存储平台。借助HP StoreAll硬件平台,用户除了可以实现海量数据的存储和高速数据访问以外,还能实现高级的数据检索功能,对特殊文件进行快速定位。同时,结合HP Autonomy软件的特性,惠普还引入了模糊查询、智能语义库等概念,可以帮助企业用户通过存储底层为上层业务带来所需的大数据业务价值。
如今,闪存不仅在大数据领域,而且在Tier 1存储市场同样占据着十分重要的地位。对于大数据平台来说,闪存可用来提升存储的存取速度,降低I/O的响应时间等。针对那些I/O压力十分明确的大数据平台, SSD可以发挥其效果, 提升存储的整体性能。但是,SSD并不是万能的。因为大部分的数据都是非结构化的,而非结构化数据对I/O的响应要求远远没有对带宽的需求大,所以,让用户花数倍的价格购买SSD存储在目前来看还是比较困难的。从目前情况看,引入闪存的大数据解决方案还不是很普遍。
方案点评
惠普在大数据方面收购了两个软件公司Vertica与Autonomy,然后将它们的软件与原有的硬件平台进行整合,针对结构化和非结构化的数据都可以提供针对性的解决方案。惠普在将大数据软件与存储硬件结合上也进行了尝试,其中一个成功的例子就是HP StoreAll大数据存储平台。HP StoreAll具有以下特点:横向扩展,最大可以扩展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,实现实时大数据的价值;内置对OpenStack的支持,可快速部署;支持文件和对象类型的数据存储。
NetApp:统一架构 无限扩展
如今,企业若想获得成功,就必须想方设法应对具有前所未有的复杂性、高性能的海量数据,并尽可能地管理这些数据,从中发掘更大的商业价值。
对于国内用户来说,无论企业的规模和数据量大小如何,运用大数据的关键在于,企业是否把大数据作为一个真正的工具,去体现企业的差异化,从而提升竞争力。随着越来越智慧的企业信息化的发展,IT不再是束缚企业发展的瓶颈,而是真正地融入了企业自身的业务中。越来越多的公司将大数据成功地运用于企业的商业模式。例如,在欧美,很多企业已经着手将大量资源投放在大数据领域。反观国内,在金融领域,有为数不少的企业通过大数据的分析工具来分析金融的走势,实现风险管理,进行信用卡的追踪等。此外,像零售、制造、电信等行业也已在尝试利用大数据分析工具为企业营销和决策提供支撑。
无论企业现在是否正在使用大数据工具,企业都应全面地考虑自身未来发展的需求,选择一个厂家的平台与之共同发展,这可以有效避免因数据和应用迁移带来的麻烦。
在大数据方面,NetApp能够帮助企业实现数据管理,应对业务挑战的极限,将以数据为导向的洞察转化为有效行动。若想将数据转化为商机,仅仅提升管理能力是不够的,需要彻底转变数据和业务之间的联系模式。NetApp可以帮助企业用户持续管理数据,迅速把握意料之外的新商机,永久保存所有数据,并在灵活、开放的存储平台之上打造属于企业自己的大数据解决方案。
NetApp提供了可高效处理、分析、管理和访问大规模数据的大数据解决方案。NetApp的解决方案组合可划分为分析、带宽和内容三个主要用例,这被称之为大数据的“ABC”基本要素。
具体来看,分析(Analysis)是指针对极大数据集的高效分析。NetApp分析解决方案就是帮助用户深入了解和利用数字世界,将数据转化为高质量的信息,以及提供关于业务的更深入见解,从而帮助企业做出更好的决策。
带宽(Bandwidth)是指适用于数据密集型工作负载的性能。此类解决方案着重于为速度非常快的工作负载提供更高的性能。高带宽应用包括高性能计算(能以极快的速度执行复杂的分析)、用于监控和任务规划的高性能视频流、媒体和娱乐领域中的视频剪辑和播放。
内容(Content)是指无限的安全数据存储。此类解决方案着重于满足可扩展的安全数据存储需求。内容解决方案必须支持存储的无限扩展能力,以便企业可以根据需要存储任意多的数据,并能在需要时找到所需的数据。
NetApp致力于通过一系列解决方案来提供高性能的运算和大数据的应用。2013年11月,NetApp再次更新了E系列家族产品,推出E2700和E5500。该系列产品采用可轻松扩展的设计,适用于要求99.999%的可靠性且稳定、高性能的工作负载。
用户在采购大数据存储产品时,需要注意以下五个方面的问题:大数据存储必须具有向上扩展与向外扩展的能力;架构必须是针对工作负载进行优化的,具有实时处理能力;具有整合的数据保护功能;保证7×24小时运行不中断,可在线进行容量扩展,实施数据迁移等;可以实现服务的自动化。
方案点评
NetApp的技术优势集中体现在其统一存储平台上,从入门级产品到企业级产品,全部基于同一个体系架构和操作系统,不仅部署和使用方便,而且升级和扩展非常简单。当初,NetApp收购LSI Engenio,其中一个重要的原因就是为了大数据。2013年,NetApp不断更新E系列产品线,推出E2700和E5500等。E5500可以支持高IOPS混合工作负载和数据库、高性能文件系统和带宽密集型流等应用,可确保数据的高可用性、完整性和安全性。
曙光XData:高度集成 贴近行业
关于大数据存储,目前业界没有一个通用的定义。曙光信息产业股份有限公司总裁助理兼存储产品线产品总监惠润海从曙光大数据平台和解决方案角度,概括出大数据存储的主要特征。
首先,大数据存储必须支持全类型数据, 包括结构化、半结构化和非结构数据,实现统一数据支持。
其次,存储性能上,一方面,大数据存储要支持海量数据,并且要在保证数据可靠性的基础之上,实现容量与性能的线性扩展;另一方面,为了实现大数据的价值,批处理和实时处理两种措施都需要高性能的数据访问获取能力。
最后,在系统达到一定规模之后,系统的易用性和可管理性也是不可或缺的。
从应用角度来说,目前中国用户在大数据存储应用中最迫切的需求,是如何真正实现用户数据的价值,如何驱动业务发展,实现决策和运营。“从系统构建层面说,要实现数据高性价比的存储和管理,同时满足数据服务的相关需求。”惠润海表示。
针对用户对大数据存储的需求, 曙光推出了像大数据一体机这样的全类型数据分析型产品,同时还基于该产品构建了基于行业的解决方案,以帮助用户实现大数据落地。
“除此之外, 我们还提供了大数据统一数据中心解决方案, 涵盖了像主攻事物处理的DS900、DS800,以及针对文件存储的Parastor等存储产品。我们基于这些存储产品构建了大数据运营管理平台。”惠润海介绍说,“曙光的优势不仅在于可以提供全面的产品支撑,更重要的是能够提供数据生命周期过程服务支持。目前,我们提供的免费维保期限为5年。”
曙光开发了针对不同行业和应用场景的大数据存储解决方案。以金融行业为例,目前国内四大行的应用系统每年产生的非结构化数据量已达到PB级,结构化数据也以百TB计。面对如此大量的数据,如何存储、管理、利用和盘活它们呢?惠润海认为,只有通过商业智能和高级分析应用解决方案才能将数据的价值最大程度地发挥出来。
针对金融行业用户的需求,曙光开发的XData大数据解决方案利用优化的大数据处理技术,对文件管理、历史数据查询和数据分析类应用等进行深入研究,为数据爆炸式增长带来的海量数据存储及分析应用提供高可靠的解决方案。
曙光金融行业XData大数据解决方案采用曙光自主研发的SN-MPP并行数据库,同时结合大数据处理事实标准Hadoop,并充分考虑了多方面的数据收集,加入ETL工具和连接驱动器,提供了类SQL的接口,还和现有金融业务系统进行对接。
针对金融行业历史数据,XData大数据解决方案在方案设计上主要考虑了数据的安全性、历史数据高效导入、快速访问与分析报表。曙光金融行业大数据解决方案立足于基础平台建设,同时切实贴合金融行业用户需求,提供了优质的软硬一体化解决方案,为用户一揽子解决了部署、业务移植开发等技术难题,帮助用户跨过应用门槛。
存储技术日新月异,在数据存储和文件分享方面,有实体存储、云存储、虚拟存储和软件定义存储及纯闪存阵列,各存储方式都有各自的优缺点,企业需要根据特定的环境来选定合适的存储方案。仔细看来,云存储在企业文件分享上有用武之地,而且适用面比较广。
云存储可以充分利用现有硬件的存储能力,分布计算,提高存储能力,云存储分为公有云存储和私有云存储,对企业客户来说,使用公有云存储最大的顾虑是数据安全,但是私有云存储就能很好的解决这个问题。
实体存储是存储行业的大趋势,主要原因是非结构化数据的飞速增长或传统数据存储的局限性。在选择私有云储存时要考虑云存储的技术实现,选择基于实体存储解决方案的产品。这里以企业云盘为例,介绍企业在文档和数据存储方面的管理。
在技术解决方案上,企业云盘一般分三层,最底层是硬件资源和云管理平台,充分利用公司现有的存储硬件。中间一层是云存储核心部分,实现云存储的数据管理,基于实体存储的设计思路,突破操作系统对文件管理的局限性。商务逻辑为企业用户定制,含企业特有的模块和功能。最上面的一层是应用层,荣之联提供不同终端的软件供用户安装,终端软件和云存储对接,做数据交换。对员工而言,终端软件就是企业云盘。
那站在企业的角度来看,运用企业云盘这种私有云存储能给企业带来怎样的好处了呢?
1.数据更加安全高效:私有云存储是部署在公司的防火墙内,受公司的安全机制管制,还能轻松管理每个员工的读写权限。同时文件分享可以让员工在无VPN的情况下读写文档,公司内部无需安装文件服务器,而且企业云盘拥有去重的功能,对硬件资源的利用更充分,大大减少硬件资源的浪费。还能支持各移动终端进行移动办公,无须担心数据同步问题。
2.文档分享、搜索更快捷:群组概念提供更灵活的分享途径。员工可以创建项目组、兴趣组、部门组、公司组。群组的概念让文件分享更加有针对性。企业文档被集中管理,员工可以在创建的不同层面上做搜索。
3.更优的用户体验:企业云盘和用户的电脑无缝集成。用户无需改变使用习惯就可以充分享受云存储的好处。备份,同步自动在后台进行,优化的算法也充分利用网络带宽。用户也可自设上传下载的速率。同时荣之联创新的分布式部署极大降低对带宽的要求。用户的数据首先是存放到最近的服务器,读写更快捷。
4.审计和版本管理:云盘自带审计和版本管理功能,可以轻松地恢复到以前的版本。
5.API 支持:企业云盘可以部署为云存储。企业内部的应用可以直接调用云存储的API来读写数据。是真正意义上的企业私有实体存储(Object Storage) 。
任何东西都有两面性,企业云盘在给企业带来好处的同时,也存在一些缺陷,而企业云盘最大的缺陷是对带宽的依赖。
一、XBRL财务数据转换存在的问题
现阶段我国企业财务会计领域XBRLr直用存在的主要问题之一是数据转换机制不完善。我国企业运用的财务软件种类很多,同一品种又有很多版本,由于数据库平台、开发工具以及输入输出数据的格式不尽相同,相互之间很难进行财务信息的交换。《信息技术会计核算软件数据接口》(GBT958l-2004)在一定程度上解决了不同软件数据的互通性和共享性的问题。但是,数据需求者获取数据时,仍需进行格式转换来适应自身软件的操作,XBRL技术的使用可以避免信息传递时不同软件之间反复转换数据的弊端,提高了数据利用的效率,而当前我国企业的财务管理信息系统输出的数据多是传统格式财务数据,如超文本标记语言(.HTML)、可移植文档(.PDF)、文本文件(.TXT)、文档文件(.DOC或.XSL)等文件格式。因此,企业要利用XBRI技术进行xBRL财务报告的编制和呈报,首先需要将传统格式的财务数据转换为xBRt格式的财务数据。
二、XBRL财务数据存储存在的问题
传统财务数据具有数据量大、综合性强、计算关系复杂等特点,对存储技术的要求比较高,经转换后的XBRL财务数据具有以下特点:一是存储量巨大,当增加所有XBRL编码和标识符后,传统数据库信息将增大10-20倍;二是数据灵活,可扩展,准确性高,呈现性强。每一个XBRL事项附带详实确切的元数据,并且这些元数据随着数据共同流动,例如资产负债表中的应收帐款项目,需附带坏账准备、客户名称、信用等级、账龄等多项数据,以便数据需求者通过各种查询条件进行财务数据快速索引查询及挖掘分析。XBRL财务数据的特性决定了对财务信息系统存储技术要求更高,数据提供者将传统财务数据转换为XBRL财务数据后,采用何种方式存储,才能够进行高效的数据索引与查询,才能保证xBRL财务数据的高安全性、高存取率、低存储成本,并能够为数据需求者(如有关证券机构、银行机构或政府部门等)的管理决策提供最有价值的信息,是XBRIJ财务数据存储的突出问题。 br>
三、XBRL财务数据转换与存储的基本流程
在应用XBRL技术进行财务信息处理的业务流程中,转换与存储是关键环节,将传统财务数据转换为XBRL财务数据时,需及时有效地对其进行存储,针对数据提供者(企业)存在的XBRL财务数据转换与存储问题,企业需根据自身经济、技术、环境条件改进企业财务信息处理流程。目前,将传统财务数据转换为XBRL财务数据有三种方式:手工转换、借助格式转换器转换、在原系统上加装集成XBRL适配器转换。在企业选择适当的方式将一般财务数据转换为XBRL财务数据时,需同步解决的问题就是对XBRL财务数据进行有效的存储。当前,XBRL财务数据的存储有以下三种方式可供选择:文件系统存储、关系数据库存储、原生XML数据库存储。从XBRL的技术发展和充分利用企业信息资源的角度出发,输出XBRL财务数据不需要重建企业原有财务管理信息系统和其他业务信息系统或ERP系统,应充分利用现有系统的资源,如系统本身的数据库和前端的应用软件,将传统财务数据转换为XBRL财务数据,同时采用适宜的方式存储。因此,数据提供者(企业)进行XBRL财务数据加工转换与存储可按照图l所示的基本流程进行。
即原财务信息系统输出传统财务数据,采用合适的转换方式将其转为XBRL财务数据并输出给数据需求者,同时采用合适的存储方式进行存储。数据提供者(企业)可以根据自身的经济、技术、环境等约束条件进行XBRL财务数据转换与存储方式选择与组合,如表1所示。
方案1:手工转换。文件系统存储。企业信息系统对外直接输出的是不可直接转换的打印文档或PDF格式文件,这一方案需要按照XBRI格式要求手工输入转换生成XBRL3C档,同时以文件的方式保存,利用操作系统进行处理。
方案2:手工转换,关系型数据库存储。按照XBRL格式要求手工输入形成XBfLL,文档,将XBRL财务数据存于关系型数据库。关系型数据库一般采用两种方式存储xBRL财务数据:一是把XBRL文档整体看成CLOB(CharaeterLarge Object,字符型大型对象)字段,直接存储到关系数据库中,简称CLOB字段方式;二是首先根据XBRL文档中数据的名称、类型、宽度及数据间的联系等创建关系模式,然后拆分xBRL文档,将其数据存储到关系模式中,简称拆分方式。
方案3:手工转换,XMl数据库存储。按照XBRL格式要求手工输入形成XBRL文档,将xBRL财务数据存储于原生XML数据库,其存储方式是记录存储方式,反映了XBRL文档层次信息,可以存储多级嵌套和多值元素,存入取出都直接对整个XBRL文档进行操作。
方案4:借助格式转换器转换,文件系统存储。由企业财务信息系统输出传统财务数据,并以电子文档的形式存放于如EXCEL表格、WORD文档、HTML文档等文件中,进一步转换成PDF文件直接,在数据需求方需要XBRL财务数据时可以通过格式转换器进行转换,转换成XBRL财务数据后采用文件系统存储。
方案5:借助格式转换器转换,关系型数据库存储。由企业财务信息系统输出传统财务数据,需要时借助格式转换器转换成XBRL财务数据,采用CLOB字段方式或拆分方式存储于关系型数据库。
方案6:借助格式转换器转换,XML数据库存储。由企业财务信息系统输出传统财务数据,借助格式转换器转换形成XBRL财务数据,存储于原生XML数据库。
方案7:集成适配器,文件系统存储。在企业原财务信息系统加装集成的XBRL配器,进行信息处理时直接按照XBRL规范编制并输出XBRL财务报告,存储于文件系统。
方案8:集成适配器,关系型数据库存储。在企业原财务信息系统加装集成的XBRL适配器,进行信息处理时直接按照XBRI觑范来编制XBRL财务报告并实时输出,同时对XBRL财务数据作技术处理后(CLOB字段方式或拆分方式)存储于关系型数据库。
方案9:集成适配器,XML数据库存储。在企业原财务信息系统加装集成的XBRI适配器,原系统信息处理时按照XBRL规范来编
制XBRL财务报告并实时输出,直接存储于XMI数据库。
四、XBRL财务数据转换与存储流程各方案的对比分析
就我国企业目前财务管理信息化的现状等环境因素,数据库应用、XBRL应用等技术因素及企业进行财务信息处理流程改造投入费用等经济因素对各种方案的对比分析如表2所示。
方案1、2、3共同的优点是经济成本都不高,但由于采用手工方式转换XBRL财务数据,数据出错率高、风险较大。其中方案1在经济、技术、环境各方面要求都最低,转换后XBRL财务数据存于文件系统能够保证据的完整性,但存储量小,不能满足XBRL财务数据存储空间的要求,不能发挥出XBRL财务数据灵活、快速索引与查询的优势,整体流程比较适合于信息化程度不高,对于数据的查询管理要求比较低的企业,实际应用价值较小。方案2将XBBEN务数据存于关系型数据库,虽然可以利用企业现有信息资源,符合目前我国流行使用关系型数据库支撑财务软件的现状,但XBRL财务数据需进行比较复杂的技术处理才能存储于关系型数据库,在数据及时性、真实性、相关性、呈现性上无法兼顾相对较好的特性,且关系模型难以处理xBRLS(档的元素嵌套和多值属性,容易产生数据库的大量空值和数据冗余。方案3将传统财务数据手工转换xBRL文档后用XMLN生数据库存储,相对关系数据库而言,省略映射过程,存储效率高,且无数据失真。但由于采用手工转换数据方式,且XMK原生数据库的发展尚不成熟,该流程的应用也不会在较大范围内推广。
方案4、5、6在企业原财务信息系统运行的情况下,根据系统生成不同的数据格式使用XBRI转换器进行转换。转换中不会造成数据的丢失和出错,能够保证XBRL财务报告的真实性。但只能在企业财务信息系统生成数据后才能进行转换,显然得到的数据具有滞后性,削弱了XBRL财务数据的优势。方案4转换后形成的XBRL财务数据虽然数据形式比较完整,但是数据存储量有限,无法满足快速灵活的多种查询需求。方案5经济、技术条件要求都较高,数据的存储处理复杂,容易造成数据失真。方案6将滞后的信息存储于原生数据库中,虽然便于索引与查询,但数据的及时l生成为整体流程被采用的制约因素。
方案7、8、9由于企业在原财务信息系统加上集成的XBR配器实时进行数据转换,所以数据的及时性是这三种流程的共有优势。方案7将实时转换的数据存于文件系统,适用于数据处理流量不大,但数据实时处理要求比较高的信息系统。
方案8虽然流程改造技术难度比较大,但就目前我国企业技术环境而言,是相对可取的一种方案。这种流程需要企业组织开发内嵌XBRL配器的企业财务管理信息系统,在数据处理的各个环节就将XBRL的元数据进行提取和转换,同时按照XBRL的分类标准对财务数据的要求进行标记,实时生成标准的XBRL文档,内嵌XBRL适配器不会对原系统的DBMS(数据库管理系统)、系统构架模式和实际应用产生影响。这种流程能最大限度地发挥XBRL的优势,可以充分利用现有系统的数据库资源实时地提供信息,也可充分利用现有的关系数据库存储数据,当前我国流行的财务软件所使用的数据库多为Oracle、sQL、VFP等关系数据库,在XML技术的发展与应用还不成熟的当前技术条件下,采用这种方式存储XBRL财务数据是一种现实的选择。目前我国已有一些企业在做该类存储方式的尝试,如上海证券交易所信息系统应用的X-SIR系统,就是一个利用关系数据库来存储XBRL财务数据的信息管理系统,其运行平台是Windows 2000 Server。
方案9在理论上和技术上是最合理的方案,可以及时地获取数据并转换,直接存于原生XML数据库,能够体现XBRL财务数据丰富的数据层次关系,无数据失真,保留了数据顺序,适合频繁的海量数据查询。但原生XML数据库还不成熟,仍处于研究阶段,相关商业化软件也不成熟,XML数据库的应用更不普及,因此,该方案暂时只能作为今后发展的目标。
重新梳理数据存储问题
2013年8月,IBM在国内正式FlashSystem全新闪存解决方案的同时,也首次提出了“数据经济”的概念。在步入大数据时代后,企业用户面对爆炸性增长的数据量,在数据的采集、处理、存储、分析等方面承受着巨大的压力。IBM数据经济理念的提出,让企业用户重新审视现有的数据存储、处置和管理状况,从经济化的角度去考虑如何提升存储的性能、效率,同时降低成本,并充分彰显数据的价值。
刚刚上任不久的IBM系统与科技部存储产品部大中华区总经理黄永志在回答本报记者提问时表示:“我们之所以提出数据经济的理念,主要目的是提醒行业用户应该对当前的数据问题进行梳理,找出数据和存储对业务的影响,使之量化,并按影响程度进行排序。在此基础上,准确定位目前面临的存储问题,进而制定解决问题的近期、中期和远期目标。”现在,IBM可以通过一套系统的咨询方案,帮助行业用户分析并找到数据存储中的问题。不仅如此,IBM还能通过其完整且具有针对性的存储解决方案,帮助用户彻底解决数据存储中的各类问题,并承诺可以在多大程度上让用户的存储系统得到改善。比如,通常情况下,IBM FlashSystem可以将用户的存储系统利用率提高50%,将所需服务器的数量减少17%。
三大业务场景因“地”制宜
11月8日,IBM在北京召开了主题为“创存储之先,领数据经济”的IBM智慧存储“数据经济”会,针对数据密集型业务、需要快速上线的社交和移动等业务,以及企业关键应用三种业务场景,细致地阐述了如何实现数据的经济化,从而推动业务的变革。
在数据密集型业务中,企业需要快速处理海量数据,为业务决策提供支撑,并获取更多商机。只有高效的存储系统才能满足这种业务需求,比如IBM FlashSystem能够显著提升OLTP和OLAP的效率,加快数据处理速度,并支持大量并发用户,而IBM SmartCloud Storage Access则支持软件定义存储,提供自助配置服务和用于ISV应用集成的云存储API,帮助客户更灵活地构建云存储解决方案。IBM高端存储XIV具有极高的性能和自动化功能,并针对云部署优化,还可支持OpenStack等开放标准工具。
对社交、移动等需要快速上线的业务来说,速度是关键。IBM Storwize存储产品家族包含从入门级到高端的全系列产品,能够在短时间内完成系统部署,并可灵活扩展。IBM系统与科技部存储开发总监Greg Moore表示,IBM Storwize是一个软件定义存储平台,凭借SVC、EasyTier、实时压缩等功能,可以帮助企业用更少的硬件存储和管理更多数据。
【关键词】 云存储 私有云 存储 共享
当前,供电企业个人或部门的数据,例如文本、图片、归档数据、各种格式的文件等等,数据量呈现海量的增长,面临如下问题:
1、个人存储空间不足。供电企业个人PC设备,使用年限一般为5-7年,部分机型较老较旧,配置较低。主要的存储设备为硬盘,空间在多年的存储使用下已出现严重不足,普遍无法适应新增数据存储的需求。
2、数据交互共享难。当前,个人用户之间,部门之间,需要及时共享的数据容量越来越大,通过传统的使用U盘、移动硬盘、FTP来中转拷贝数据的方式,已越来越不适应当前的需要,存在着病毒感染、丢失等安全隐患。
针对以上两种情况,本文通过架设私有云存储服务器的方式来解决数据存储和共享方面的问题,为供电企业数据存储提供新的思路和解决方案。
一、项目实现功能
从应用场景上,我们的方案包括如下主要内容:1、文件存储(为每个用户提供10G以上的存储空间);2、数据同步(通过云存储提供的数据同步功能,实现员工数据的多终端同步);3、桌面数据备份(通过云存储提供的数据备份功能,实现电脑中的数据的自动备份,支持文件级差异化备份机制);4、文档内容(通过云存储提供的数据自动分发功能,可将企业内部公告、通讯录等文档或电子表格快速地分发给指定的员工或部门,或通过外链地址(U RL)嵌入到邮件等);5、文档快速汇总(通过云存储提供的数据自动汇总功能,可以实现快速将员工本地文件自动汇总到云存储的指定位置中);6、群组或部门工作区(可按需要建立群组或部门工作区,用于团队协作,协同办公,并支持文件多版本及文件锁机制,提升多人协同办公的效率)。
二、项目实施方案
2.1系统架构设计图
如图1。
2.2主要功能模块
1、负载均衡模块(LVS):负载均衡模块建立在所有应用结构之上,它提供了一种有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。
2、应用服务模块(APP Server):提供了一套完整的企业数据应用、管理、监控的应用系统。私有云存储作为企业数据应用系统,为企业员工提供个人数据存储、分享服务,保护数据安全;也可以按照企业组织架构组建企业级、部门级、项目级的协同工作服务,提高数据处理效率。此外,灵活的空间管理、集中的账户配置、实时的日志审计方便系统管理者实现全方位的管理和监控。其中包括功能模块如下。
应用服务(Web Service):为整套系统前端应用和web端访问提供支持。
传输服务(TP Service):为用户提供数据传输的支持。
3、文件存储模块(Storage Server):是一套分布式文件存储系统,为应用服务模块提供底层数据存储及管理服务。可以作为标准的存储系统为企业应用系统提供标准的数据存储。
4、数据库模块(DB Server):其中包括功能模块如下。
主数据库:为应用服务模块提供结构化数据服务。
从数据库:为主数据库提供备份服务。
2.3部署方式
在内网服务器上安装私有云存储软件,并配置存储服务器与之互联。保持私有云存储系统的网络连通,在IE中输入默认的管理地址进行管理访问。
对私有云存储的部门及员工进行初始化,并为其分配私有存储空间,以及划分上传、只读和下载等权限归属等。对服务端配置完毕后,在每一台个人PC设备上需要安装客户端软件,通过建立的用户名和密码登陆后,即可在客户端上进行文件存储操作,并可以通过外链的形式共享给他人。
了解什么是企业数据备份
大家对企业数据存储备份并不陌生,但在人们惯性思维中,往往对其存在着许多误解,很多人会把备份和拷贝简单地划上等号,甚至把备份单纯地看作是更换磁带、为磁带编序等一个简单的、程序化的操作过程;也有不少人会把双机热备份、磁盘阵列备份以及磁盘镜象备份等硬件备份的内容和数据存储备份相提并论。
实际上,数据的备份除了对原始数据完全一致的复制外,更重要的任务是其管理功能。备份管理是一个全面的概念,它不仅包含制度的制定和磁带的管理,而且还能决定企业引进什么备份技术,如备份技术的选择、备份设备的选择、介质的选择乃至备份方式的挑选等。
此外,双机热备份、磁盘阵列、磁盘镜像、数据库软件的自动复制等功能并不能完全替代数据存储备份系统,因为硬件备份只是牺牲一个系统、一个设备等来实现另一个系统或另一台设备在一定时期内的安全,它们往往能解决的只是系统的可用性问题。而当所有设备因为人为因素的错误、自然灾害、电源故障、病毒入侵等问题而无法正常运行时,数据的恢复也就无从说起了。
大体上来说,数据存储备份是用一种容量大、具有先进自动管理功能、以经济性为原则的设备对整个系统,尤其是对整个网络系统的数据进行备份的方案。实践证明,只有数据存储备份才能为企业提供最完善的数据安全保护,所以说,在原网络上增加数据存储备份管理系统和把数据存储备份管理系统列入到网络建设方案中是不容懈怠的。
企业数据存储系统应具备哪些条件
在定制数据存储方案之前,应该了解一个完善的数据存储系统应具备怎样的条件,大体来说,应该符合以下的四个条件:
1.一个相对完善的面向应用和数据库的备份与恢复系统,而且在意外情况下能够迅速恢复数据;
2.要对磁盘阵列上的数据文件提供镜像保护,同时增强数据文件的访问性能,提高数据文件的可管理性;
3.可以通过集群方式保证本地业务的不中断长期运行;
4.对于环境所造成的系统极端故障,应具有相应的灾难恢复策略等。
选择适合企业的数据存储备份技术
数据存储备份一般可以分为软件技术、硬件技术和人工备份。
1.软件技术
主要是通用备份软件技术(操作系统中所提供的备份功能)和专用备份软件技术两种。因为备份软件技术在整个数据存储备份过程中所起到的作用非常重要,不仅关系到是否支持磁带的各种先进功能,而且在很大程度上决定着备份的效率。所以在企业使用过程中,最好就选择一些专业备份软件,如Legato/NetWorker、HP/OmniBack、Veritas/Openvision 、CA/ARCserve、EMC/Symmetrix等,毕竟操作系统所提供的只是一些基本的备份功能,缺乏专业备份软件的高速和高效性。
而且,因为磁带机对数据传输速度有一定要求,若数据传输率偏低,磁带机就无法连续运转,而专业备份软件可以自动优化数据传输速率,也就是说可以以较高的传输速率进行数据传输备份,从而有效地提高数据备份效率。另外,专业备份软件还支持新磁带机技术,如HP的TapeAlert技术,就得到了大多数主流专业备份软件的支持。
2.硬件技术
主要有磁盘阵列、磁带机与磁带库、光盘库等,其中磁带机是比较理想的数据存储备份技术,因为磁带介质不仅能提供高容量、高可靠性以及可管理性,而且价格比光盘、磁盘媒体便宜很多。磁带库多用于数据备份、归档和灾难恢复,光盘库则侧重于数据的备份和在线快速查询,企业用户可根据实际需求(主要考虑所需要设备的容量和驱动器数量)选择磁带或光盘库来作为硬件存储备份设备。主流的硬件设备提供厂家有:HP、IBM、StotageTek、Exabyte、SONY、Quantum、SEAGATE、Tandberg等。
不同的存储设备因其信息存储特点的不同,因而所应用的环境也有所区别,磁盘阵列是一种高效、快速、易用的网络存储备份设备,主要用于网络系统中的海量数据的即时存取;广义的磁带库产品包括自动加载磁带机和磁带库,一个拥有工作组服务器的小公司或分理处可以使用自动加载磁带机来自动完成备份工作,而磁带库更多的是用于网络系统中的海量数据的定期备份;光盘库则主要用于网络系统中的海量数据的访问。
3.人工备份
人工级的备份是最为初始的备份方法,也最简单和有效的。
但如果要用手工方式从头恢复所有数据,根据企业需要选择备份方式,是全体备份还是选择增量备份,它耗费的时间恐怕会令人难以忍受。这也是其应用的最大障碍。
选择合适的存储备份模式
1.传统存储技术
DAS已经有将近40年的使用历史,但是随着用户数据的不断增长,数据量不断加大,尤其是数以百GB以上时。DAS特别适合于对存储容量要求不高、服务器的数量很少的中小型局域网,其主要的优点在于存储容量扩展的实施非常简单,投入的成本少而见效快。但其在备份、恢复、扩展、灾备等方面的问题日益困扰着系统管理员。
DAS适用于:
(1)在服务器的地理分布很分散,通过NAS或SAN在它们之间进行互连比较困难的情况下,如商店或银行的分支就是很好的典例。
(2)当存储系统必须被直接连接到应用服务器时,Microsoft Clus
ter Server或某些数据库使用的“原始分区”就是这样的一种使用情况。
(3)包括许多数据库应用和应用服务器在内的应用,而且它们需要直接连接到存储器上,群件应用和一些邮件服务也包括在内。
2.网络附加存储
这是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于对不同主机和应用服务器进行访问的技术。其可以减轻服务器负担,方便数据共享,有很好的适应性和高扩展性,支持集群,且易管理等优点,但是其存储性能有一定的局限性,而且在可靠性方面也有待加强,投资较大!
NAS是部件级的存储方法,它主要是满足工作组或部门级机构解决迅速增加存储容量的需求,如需要共享大型CAD文档的工程小组就是一个典型的应用例子。
SAN主要用于存储量大的工作环境,如ISP、银行等。SAN是专注于企业级存储的特有问题,大多数分析都认为SAN是未来企业级的存储方案,这是因为SAN便于集成,能改善数据可用性及网络性能,而且还可以减轻管理作业。
iSCSI——IP SAN存储技术,iSCSI技术是一种由IBM公司最新研究开发的,是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择。该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料。
iSCSI连接距离更长,能够突破FC SAN 10公里的限制,而且带宽更高,功能更强,可用性高,成本方面也较低,但是它与其他的存储协议的兼容性方面并不好,相关的技术和产品都处于发展阶段,用户的选择余地较小。
数据存储备份系统的推荐选择
1.对于数据量不是很大的企业(企业存储的数据量大概为几十GB)来说,像校园网、证券交易营业部、政府机关办公网络系统、中型企业网和电子商务网站等,基本上应用在由Windows平台构成的较复杂的网络环境中,这种类型用户应该根据在线的备份软件根据网络的节点数(服务器/工作站个数)的多少再决定购买相应的数据库、邮件等备份模块,像CA、EMC/Legato和Veritas等厂商都有相应的模块备份软件。
2.当企业的数据量增加到几百GB,甚至达到TB级的数据时,那么就需要采用NAS网络存储备份案,配置自动化程度更高的磁带库和NAS存储设备,而备份软件方面可以采用像CA、EMC/Legato和Veritas等厂商提供的NAS网络存储备份软件。这种级别的数据备份系统一般应用在海量存储系统中,像大型企业中心数据系统、省市级国家机关专用信息系统、科研院所专业信息系统和一般资料检索系统等。
【关键词】网络;数据存储;数据备份;数据安全
近年来,镇江供电公司企业信息化不断深入发展,部署了大量的计算机设备、业务应用系统,网络资源已经几乎布署到了每一个专职岗位。随着这些应用的不断完善,大量的业务数据和个人文档需要备份,这样,数据存储的矛盾就日渐突出。在很多情况下,计算机存储的数据丢失可能演变成一场灭项之灾。因此信息存储系统的可靠性和可用性,数据备份和灾难恢复能力是计算机网络用户首先关心的问题。网络数据存储技术的主要目标就是要实现数据存储的安全性、高效性、可靠性、可管理性以及快速恢复能力和强大的网络特性。存储备份技术不仅仅指数据的简单备份,而且还包括内容及备份的管理等多方面。
1、网络存储技术
网络存储技术是基于数据存储的一种通用网络术语。网络存储结构大致分为三种:直连式存储(DAS):这是一种直接与主机系统相连接的存储设备,如作为服务器的计算机内部硬件驱动。到目前为止,DAS仍是计算机系统中最常用的数据存储方法。存储网络(SAN):SAN是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作SAN的接入点。在有些配置中,SAN也与网络相连。SAN中将特殊交换机当作连接设备。它们看起来很像常规的以太网络交换机,是SAN中的连通点。SAN使得在各自网络上实现相互通信成为可能,同时并带来了很多有利条件。网络存储设备(NAS):NAS是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。由于这些设备都分配有IP地址,所以客户机通过充当数据网关的服务器可以对其进行存取访问,甚至在某些情况下,不需要任何中间介质客户机也可以直接访问这些设备。
2、Wallstor网腾WIP6系列IP SAN存储系统
Wallstor WIP6系列网络存储采用一体化NAS/IPSAN/FCSAN设计,支持多功能模块,便于用户按照自己的环境要求选用合适的功能,该存储性能突出,易于管理,安装简便,能够真正做到即插即用。Wallstor存储系统基于成熟稳定的嵌入式Linux系统,高性能的四核心xeon架构平台,纯64位设计体系,通过对Linux内核及rootfs的精简和对RAID算法、存储协议栈、网络协议栈、文件系统的大量优化,可以满足普通中小企业的数据存储需求。
3、镇江供电公司信息化建设在数据存储和数据安全方面的需求
大容量存储:信息集中化的发展必然带来大量数据的集中,因此,存储容量的需求是非常巨大的。尤其是高效、可靠、可管理的存储硬件和软件,能够满足服务器数据集中、个人文档数据集中的存储。
数据备份系统:业务应用数据作为镇江供电公司信息系统的核心,对数据进行集中地备份管理、显得尤为重要。因此,需要一个全方位、多层次的备份系统。
4、实施解决方案
为解决镇江供电公司信息化发展过程中大量的业务数据和个人文档的数据备份矛盾,我们在设计存储系统时,充分考虑了系统基本功能的实现和它们的伸缩性、扩展性和集成性方面的需求,进行了系统的设计,具体拓扑图如下:
存储方案设计:经过对多个存储设备方案的分析、比对,我们最终决定存储设备选用Wallstor网腾WIP6系列IP SAN存储系统,客户端使用FTP、CIFS、ISCSI target盘等各种网络协议,通过高速传输端口进行各类数据的上传、下载。对于重要数据,可以进行权限管理以及分级权限管理来保护,增加其数据的安全性。Wallstor网腾存储系统具有以下特性:
存储系统能够支持多种RAID算法,保证系统数据的安全可靠;支持CIFS,NFS,AFP,iSCSI,WebDAV等各种网络存储协议;针对文件系统、块设备、RAID算法以及网络协议栈做了多种优化,可达到超高的存储性能,在大规模监控应用领域可以满足几百路码流同时写入;无需复杂且耗时的安装过程,将硬件安装完成后,直接开机即可运行,通过浏览器进行配置和管理;内置专业备份软件,支持Windows,Linux文件备份,操作系统备份,各种数据库备份,可以为您提供整套的存储备份解决方案;内置文件系统检测和恢复工具,可以在文件系统损坏的情况下对文件系统进行最大程度的恢复。
备份方案设计:我们在备份方案的设计上为用户提供了完全备份、差异备份和增量备份三种备份方案。完全备份:备份全部选中的文件夹,并不依赖文件的存档属性来确定备份哪些文件。在备份过程中,任何现有的标记都被清除,每个文件都被标记为已备份。换言之,清除存档属性。差异备份:备份自上一次完全备份之后有变化的数据。差异备份过程中,只备份有标记的那些选中的文件和文件夹。它不清除标记,也即备份后不标记为已备份文件。换言之,不清除存档属性。增量备份:备份自上一次备份(包含完全备份、差异备份、增量备份)之后有变化的数据。增量备份过程中,只备份有标记的选中的文件和文件夹,它清除标记,既:备份后标记文件,换言之,清除存档属性。
5、总结
信息时代的核心无疑是信息技术,而信息技术的核心则在于信息的处理与存储。由于越来越多的信息变成了电子信息,特别是计算机网络应用的迅速增长更大大增加了对信息存储产品的需求量和对信息备份技术的安全性、可靠性的要求。因此,在镇江供电公司信息化建设的进程中如何实现有效的存储、交流、管理和备份数据无疑是决定公司信息化成败的关键。在网络存储备份技术日新月异的今天虽然新概念,新技术层出不穷,但是只有结合镇江供电公司自身的特点,找到最适合公司发展需求的技术途径才是根本。既不可以盲目跟风新技术,也不可以对数据增长带来的需求视而不见。
参考文献
[1]吴海涛.网络电气自动化发展[J].中国高新技术企业,2012,14:42-43.
[2]张丽萍.基于XML的多数据库系统集成数据模型[J].低压电器,2013,24(7):23-25.
作者简介
紫光集团近几年在IT领域,特别是半导体领域积极布局,通过不断并购,在增强自身整体实力的同时,实践着自主可控的创新梦。在云计算、大数据时代,打造从“芯”到“云”的完整产业链是紫光集团的大战略。
9月8日,紫光西部数据有限公司(以下简称紫光西部数据)成立典礼在南京举行,这是中国大数据产业创新发展的又一重要里程碑。秉承“自主创新+国际合作”的发展理念,紫光西部数据致力于为各行业客户提供基于全产业链的大数据服务,成为中国大数据产业战略合伙人,这是为逐步实现紫光集团大战略而设定的一个“小目标”。紫光西部数据从现在开始起步。
构建从“芯”到“云”的大生态
众所周知,紫光集团是中国IT界的一艘新航母。在国家集成电路产业推进战略的引导下,紫光集团以“自主创新+国际合作”双轮驱动,确立了以集成电路产业为主导,向泛IT、移动互联、云计算与云服务等信息产业核心领域集中发展的战略。
从2013年以来,紫光集团通过一系列的战略并购,不断完善自己的战略布局,丰富产品线。紫光集团先后投资超过1500亿元,收购了全球移动通信芯片公司展讯通信和锐迪科,控股H3C和惠普中国企业业务,分别成立紫光展锐和新华三集团。清华系旗下最重要的IT产业平台已具雏形,全面构筑从“芯”到“云”的信息产业生态系统并非妄言。
IDC预测,到2020年,全球的数据总量将达到44ZB。数据规模的持续增加,用户对数据处理的速度,以及系统的可用性、可扩展、灵活性等的要求不断提升,这些都是大数据存储迫切需要解决的问题,也是大数据存储产业面临的新机遇。
毫无疑问,大数据存储业务是紫光集团这艘航母前进的主要动力之一,而紫光集团的战略布局也早为大数据存储业务的快速发展埋下伏笔。2016年7月,紫光集团收购武汉新芯多数股权后,长江存储科技有限责任公司正式成立。紫光集团持有长江存储科技有限公司超过50%的股份。紫光集团董事长赵伟国出任长江存储公司董事长。这是紫光集团的大战略从“芯”开始的一个具体体现。
在今年举行的第二届中国大数据产业峰会暨中国电子商务创新发展峰会上,赵伟国曾表示,从2016年开始,紫光集团计划投资300亿美元用于存储器芯片制造,这大概是中国有史以来最大的存储项目。大数据的发展需要海量存储,而中国以前在这方面是空白,这便是紫光集团选择的发力点。芯片是产生和存储数据的基本单位,也是发展大数据存储的基础。只有在芯片上掌握主动,才能在发展大数据存储时做到有的放矢。
在紫光集团着力打造的从“芯”到“云”的产业链中,“芯”是指芯片,那么“云”当然是指大数据、大互联、大安全和云计算。紫光集团控股的新华三集团在云和大数据方面提供了完整的解决方案,包括服务器、存储、网络设备,以及云操作系统、大数据安全系统等,在除运营商以外的企业网络领域,紫光排名第一,在全球仅次于思科。
在大数据存储的产业链条上,有了武汉新芯的存储芯片,又有了新华三的存储解决方案,这中间是不是还少了一个能够将它们串联和彻底打通的环节?紫光西部数据应运而生。
自主创新也少不了国际合作
紫光西部数据于2016年3月28日注册成立,总部位于南京市秦淮高新技术园区内,市场和销售总部则位于北京。紫光集团旗下紫光股份持股比例为51%,而西部数据持股比例为49%。
紫光西部数据首席执行官缪刚表示,新公司的愿景可以概括为一句话:以数据成就未来,做中国大数据产业战略合伙人。
具体来看,这一愿景又可以细分为以下四个层面:第一,扎根中国,放眼全球,新公司将以中国为起点,凭借全球领先的技术研发、设计生产、市场推广等方面的优势,提供符合中国市场需求的全方位大数据解决方案,并在此基础上,进军全球市场;第二,自主创新,安全可控,通过自主研发,实现自主、安全和可控,在保护数据可靠的基础上,保障多种核心应用的安全、稳定运行;第三,行业优化,扁平融合,针对具体的行业需求,开发符合行业特性的全方位数据服务,通过实现应用层扁平化,实现大数据整体发展;第四,开放合作,携手共赢,全面打造开放创新的平台,携手各界合作伙伴,建立合作共赢的生态体系,合力推动大数据产业的创新发展。
为了实现上述宏伟目标,紫光西部数据需要在坚持自主创新的基础上,以开放的胸怀,采取积极的合作策略,而西部数据无疑是一个理想的合作伙伴。
西部数据是全球领先的数据存储解决方案提供商,在全球硬盘市场的占有率排名第一。与紫光集团类似,西部数据近几年也通过一系列的收购不断完善产品的布局。2012年,西部数据收购昱科环球存储科技咨询有限公司(HGST),目的在于为企业级市场的客户提供高价值的存储解决方案。2016年5月,西部数据又以190亿美元的大手笔完成了对闪迪(SanDisk)公司的收购,快速转型,成了闪存市场的佼佼者。
美国西部数据公司全球高级副总裁、数据中心系统事业部总经理唐戴夫表示:“我们之所以选择紫光集团作为合作对象,一方面是因为紫光集团具有本地研发、设计、生产、营销的能力,可以提供针对本土用户需求的定制化的解决方案;另一方面,紫光集团拥有宽泛的产品线和业务,紫光旗下的新华三、紫光互联等,都可以成为西部数据的合作伙伴,形成解决方案和业务上的互补。西部数据与紫光集团的全方位合作,让我们感觉未来在技术和业务的创新大有可为。”
缪刚进一步介绍说:“合资公司将在核心存储技术、企业级存储解决方案,以及大数据全产业链服务等领域形成关键战略合作,推动紫光集团从‘芯’到‘云’的信息产业生态系统的构建,同时帮助西部数据实现业务拓展,为智慧城市、金融服务、媒体娱乐、天文气象、电信、基因科学、医疗卫生、新兴互联网等各行业客户提供符合其需求的数据存储和数据服务解决方案。”
打造系统级的存储产品
紫光西部数据为何落户南京?首先,紫光西部数据在南京现有一支70多人的研发团队,未来还要进一步扩张,这也是让紫光西部数据引以为豪的实现自主可控的基本保证。其次,紫光西部数据接下来要与南京当地的政府、企事业单位加强合作,紫光西部数据与南京市有关部门联合成立的大数据研发中心正在酝酿之中。
正如缪刚所说,紫光西部数据要首先扎根中国,为中国用户提供满足其需求的定制化的大数据存储解决方案。紫光西部数据9月8日举行成立庆典之后将全面展开营销活动,而最先推出的产品就是西部数据特有的动态归档(Active Archive)系统。这一动态归档系统是一个独立自主的对象存储系统,可以方便地扩展存储容量,最高可达数PB,且具有更高的可靠性和更好的成本效益,能够同时满足传统应用需求和新型应用需求。
时至今日,西部数据已经不再是那个拥有单一硬盘产品的厂商,其产品线涵盖存储介质、存储平台、系统软件和系统构件,其中存储系统成了最主要的抓手,动态归档系统就是代表,而这正是紫光集团与西部数据合作最重要的一类产品。
“我们计划利用3~5年的时间,打造一个完整的系统级存储的产品框架。以动态归档系统为例,这是新兴的对象存储,与新华三的存储产品线并不冲突,反而是互补关系。”缪刚介绍说,“在动态归档系统的基础上,我们会与中国的ISV携手,针对不同的应用场景提供定制化的服务,打造产品与需求深度融合的本地化解决方案,同时也不排除与开源技术相结合,研发基于开放平台的动态归档系统的可能性。这正是紫光西部数据的优势和价值所在。”
对于企业而言,如何让数据中心变得更加灵活,同时降低能耗与运营成本,已经变成了发展过程中面临的重大难题,云数据中心的出现无疑是解开这些难题的新出路。
作为云计算基础设施整体解决方案提供者,天地超云公司(以下简称天地超云)结合其全球首创的高温节能服务器、绿色高效的云存储系统和数据中心智能管理软件,形成了领先的云计算数据中心解决方案。天地超云是中国领先的云计算服务器和云基础设施的供应商,致力于打造中国云计算服务器的第一品牌,凭借云服务器、云存储、云管理平台以及云安全技术,为用户提供云计算基础设施的整体解决方案。
天地超云云计算数据中心解决方案以超云高温节能服务器R9160-G9、集群统一存储系统XS5000和iCenter管理软件为基础,打造绿色节能、智能管理的云计算数据中心。
传统服务器对数据中心的温度环境要求非常高,一般环境温度范围在20℃~25℃,这就需要采取制冷手段到达温度要求,能耗高等情况普遍存于数据中心。据统计,2012年全球发电量225043亿千瓦时,数据中心消耗就占去2%左右,对数据中心进行革新,降低数据中心能耗比已经刻不容缓。
这一项旨在针对政府、教育、金融、企业及个人数据存储及备份需求的新型电信增值业务(简称SSP服务),能否切实满足用户需求? 与传统的存储相比,又有什么优势与不同呢?
智能化ISCSI解决方案 终极无忧
存储技术经历了直接连接存储(DAS)、整合的趋势(其整合趋势包括用NAS文件服务器合并)、SAN存储区域网三个过程。
光纤通道是最常用的SAN技术,FC(光纤通道)最初的发展是为解决并行SCSI磁盘阵列的边线问题,最终,业界在SAN应用上扩展了该项技术,FC在今天还提供了极好的共享存储的解决方案。然而, 尽管有这么多优点,实际部署的FC数目还是很少。为什么呢?
首先, 对于大多数组织来说, 部署和扩展一个FC SAN非常昂贵. 在一个光纤通道环境里, 适配器、交换机和将SAN连接到一起的光纤跳线都是非常昂贵的, 使那些大部分的主流市场力不能及。另外, FC SAN的部署和维护都是很复杂的, 需要一些特殊的IT专家,而DAS和NAS则不需要.由于FC SAN的复杂性, 需要一些昂贵的软件来简化和自动化一些操作, 特别是更大型的部署。
智能化的iSCSI解决方案,是基于下一代的存储设计,来处理企业和技术方面的问题。
因特网SCSI, 或者iSCSI, 将古老的SCSI块级协议与最广泛使用的以太网技术联合起来,形成了一个具有以太网的经济性、熟悉架构的高度灵活SAN技术,既有IETF标准的采纳, 又有微软和CISCO等国际IT供应商的支持, iSCSI很快就成为了一个可选择的成熟的SAN技术。
深圳电信提供的存储服务解决方案,是以经营管理数据为核心,为数据中心用户推出在线磁盘的存储服务,在线或离线磁盘备份和恢复服务(需定制),存储区域网SAN管理及容灾备份解决方案等,这些服务为客户提供了无忧的存储解决方案(参见上图)。
该方案采用基于ISCSI技术的IP SAN存储产品 BS3000系列存储阵列作为提供存储服务的设备。BS3000直接通过铜缆双绞线接入千兆以太网络,所有需要直接访问存储设备的主机直接通过IP存储区域网络来访问 BS3000存储阵列。存储区域网络采用私网IP地址以确保安全性。IDC机房以外的服务器需直接访问 BS3000存储阵列,则要通过直接专线与存储区域网络相联或通过VPN的方式与存储区域网络联接。
数据安全问题不再是可有可无
随着城市产业信息化的发展,企业及政府对IT系统的依赖程度越来越高,数据安全已成为人们备受关注的话题,由于缺乏足够的技术资源来维护自身的存储系统,自9.11灾难发生后,危机意识无一不成为企业思考的问题。
大型企业如金融服务公司由于数据敏感性和自身的实力,独立创建、运营自已的容灾备份中心实现业务持续性,只不过是吹灰的功夫。但对于那些掣肘于技术、资金的中小企业,既要资金拓展市场,又要为信息建设与存储投入大量的物力、财力,面对企业信息化问题―“爱也悠悠,恨也悠悠!”。
据我们对相关企业的走访了解,自建数据容灾中心意味着购买更多的主机、存储设备和相应的软件等,高昂的投资代价成为中小企业如鲠在喉的心病。随着存储技术的发展、虚拟化、IP存储以及更加丰富和强大的软件功能的应用,灾备中心的建设也不拘一格,出于性价比考虑,越来越多的企业或机构已开始采取将其数据备份业务外包给专业的存储服务商。
据深圳电信IDC中心技术部的专家介绍,当前企业的海量信息存储手段主要为以下两种方式:一是自建,二是租赁,极少数跨地区企业两者兼而有之。由于企业运营现实的压力,80%的企业都采取了后者,单独为企业提供数据存储服务的专业公司也就应运而生,即存储服务提供商SSP(Storage Service Provider)。如深圳电信推出的无忧备份存储服务,便是专业SSP的行业典范。
无忧存储 无忧服务
【深圳电信】是国内IDC行业领先的数据存储综合服务提供商之一,拥有华南地区最高等级电信级标准IDC专业机房共计五个,总面积达5000余平米,装机容量可达62000余台以上。
IDC中心机房的负责人告诉我们:深圳电信IDC拥有华南地区最高等级的专业机房,现以正式通过ISO27001标准认证,机房内部严格按照国家AA级机房标准提供配套服务及设施,整体抗震级别为8级,供电系统采用不间断电源供应及智能冗余备份UPS系统,确保稳定的系统运行。
严密的智能监控系统、冗余线路保证高速可靠的干线连接等雄厚的实力设施配备及安防资源为用户提供一个坚不可摧的存储安全环境。
专业的存储解决方案提供商―创新科存储技术有限公司,其存储方案在金融、电信、银行、证券、广电等行业有着广泛的应用,凭借其专业的技术研发和支持团队,可为用户提供一个全面的存储、备份解决方案。
与自建存储系统方案而言,深圳电信的无忧存储服务主要有以下四个方面的优势:
1)减少企业的存储投入成本,企业自建数据容灾中心从购买主机、存储硬软件设备到机房安全防卫系统的资源建设都要占据企业IT投入资本的40~50%,而采用直接租用深圳电信成熟的体系及管理维护,能为企业节省将近20~30%的经营成本。
2)通行应用系统的标准建立,大大减少了系统的数据丢失率。深圳电信IT应用系统采用国家统一的GB4943 信息技术设备的安全行业通行标准,大大减少了企业与企业及政府间的信息存储损失,保障了信息技术的正常管理及应用。
>> 高校图书馆数据存储安全探讨 关于高校图书馆采编业务外包的探讨 浅谈基于VMware实现高校图书馆数据的存储管理 高校图书馆编目外包数据的质量控制 图书馆数据存储方案的比较 图书馆:云时代数字图书馆的数据存储 高校图书馆采编业务外包的成因及意义探讨 关于高校图书馆编目业务外包工作的探讨 高校图书馆跨区域存储的研究应用 高校图书馆业务外包的理性分析 高校图书馆编目外包的对话与合作 高校图书馆业务外包研究 浅谈高校图书馆业务外包 浅论高校图书馆业务外包 图书馆采编业务外包的探讨 借力大数据优化图书馆数据存储 高职院校图书馆编目外包书目数据质量控制探讨 数字图书馆的存储之路 高校图书馆图书编目业务外包再思考 高校图书馆图书外包加工服务模式研究 常见问题解答 当前所在位置:l.
[7] 姜爱蓉.存储需求与应用分析―清华大学数字图书馆实践[J].中国教育网络,2007(4):71.
[8] 于立,刘慧兰.信息技术外包的成因分析―信息技术外包服务商的视角[J].情报杂志,2006(10):12-13.
[9] 徐中平,毛洪涛.企业信息技术外包战略分析[J].经济问题探索,2000(11):35.
[10] 杨锦园,李艳灵.基于SAN的数字图书馆解决方案研究[J].图书馆学研究,2007(7):8-10.
[11] 刘古权.存储介质[DB/OL].(2006-08-01)[2007-12-31]..
[12] 蔡忠兵.业务外包与图书馆核心能力构架的辩证分析[J].图书馆界,2007(6):54-56.
[13] 饶思军.业务外包:图书馆业务核心化战略的必然趋势[J].图书馆建设,2004(4):63-64.
[14] 杨海蔚,董安邦.企业信息技术外包浅析[J].情报科学,2002,20(7):772-774.
[15] 王晓燕.信息技术外包策略在我国金融电子化进程中的应用探讨[J].金融电子化,2000(4):68-71.
当今,网络技术高速发展,网上应用的数据量迅速膨胀,数据管理越来越复杂。数据存储和备份、数据安全保护、网络监控和数据加速等都已经成为关系企业生存发展的关键性因素。于是,为政府和企业提供解决方案的网络公司应运而生。他们预见政府或企业内部的网络可能发生的技术问题,提出切实可行且能降低成本、提高效率的有效问题解决方案,提供稳定的数据存储,保护数据安全,并进行网络优化和加速,帮助客户取得更有效的管理成果。
北京合力共创网络技术有限公司(以下简称“北京合力”)成立于2001年,是一家以存储为核心的网络产品与技术服务集成商。他们紧密跟踪网络先进技术和最新发展动向,通过专业的以数据存储、数据安全为核心的网络设备系统集成服务,为各行各业提供完整、个性化的企业级存储系统整体解决方案,得到了众多政府机构和企业的广泛认同。
储存备份:“稳”中求胜
在数据存储领域,北京合力是美国NetApp大中国区白金商、注册服务和签约服务提供商,NetApp作为IT存储业界的佼佼者,它的存储解决方案为开放网络环境提供了无缝的存储管理。北京合力提出基于NetApp共享云存储方案,在加大数据存储容量的同时,提升存储设备稳定性,并有容灾备份功能,保护企业数据不流失。北京合力已为中石油、中国联通等多家大型企业提供存储产品与技术服务,深受好评。
在金融行业中,北京合力基于NetApp的存储方案,可以提升银行办公效率,大大降低系统死机的概率,使系统更加稳定。某商业银行的办公系统经常遇到宕机、系统效率低下、磁盘阵列饱和的问题。由于应用系统由多台主机运行,数据不能共享和备份。在遇到系统重新安装,或数据库导入数据以及作数据一致性检查时,系统就会死机。这些现象严重制约着企业的生产效率,困扰着信息部门,他们期待北京合力能给出解决方案,优化办公系统,提升银行的工作效率,减少损失。
为了解决这些问题,北京合力将NetApp的双机存储设备作为办公系统的主存储,用千兆以太网与银行原来的IBM RS/6000和NT服务器相连,IBM RS/6000小型机和NT服务器分别通过NFS和CIFS协议共享存储上的数据。该方案实施后,明显提高了银行办公存储系统的效率和稳定性,在系统导入数据和做一致性检查时,死机现象不再发生,用户发送帐单、报表的到达时间缩短为原来的1/5,IBM RS/6000和NT服务器可以相互备份,它们经过授权可以访问存储上的任何数据,并且在一台应用服务器出现故障,其它应用服务器可以直接替代它。
新的方案不仅增加了系统的稳定性,新的存储设备还提供了数据保护和备份。如病毒攻击、人为误删除等可以通过到Snapshot备份的目录下拷贝回来,同时还提供了介质层的保护,如出现硬盘损坏,系统自动完成数据重建,不需要任何人为的干预。系统的磁盘检查程序会在磁盘损坏以前提供报警信息,管理员可以主动让有潜在问题的磁盘失效,避免性能下降;NetApp还具备集群容灾功能,存储系统没有任何一个单点故障,系统的任何部件包括主板、CPU、内存等都可以在应用系统不中断,用户服务不中断的情况下进行更换和维修,如果要进行存储系统扩充,可以在线完成,方便快捷。
数据安全:“邮”刃有余
在邮件安全领域,北京合力和全球信息安全的领导者Secure Computing公司合作,为企业打造各类网络安全产品,为用户提供包括邮件安全、Web审核、攻击防护、身份认证等在内的、全面的网络安全解决方案。
电子邮件系统承担着企业内部和外部信息通讯的重要角色,安全可靠的电子邮件系统是企业信息化战略过程中必不可少的重要组成部分。随着信息化系统规模的增大,和外部合作的增多,邮件系统不断受到来自外部Internet的攻击和企业内部的邮件病毒困扰,大量的垃圾邮件和病毒邮件涌进员工与用户的邮箱,导致很大一部分网络带宽被消耗,同时还占用了邮件服务器的大量资源,邮件系统的运行和维护成本迅速增加,垃圾邮件比例剧增,使正常邮件被“淹没”在垃圾邮件之中,严重影响工作效率。
为了解决用户垃圾邮件问题,并保护邮件免受病毒侵扰,合力共创公司提供了以Secure Computing公司的IronMail邮件安全网关为核心的安全解决方案,为网络安全加了一把安心的大锁。它通过卓越的处理性能、方便灵活的配置和管理能力,提供电子邮件安全性和99.99%以上准确的垃圾邮件过滤技术,来帮助企业识别垃圾邮件、病毒、网页仿冒、拒绝服务和其他对电子邮件安全性构成的威胁。
北京合力还运用Secure Computing专利的Trusted Source互联网信誉评分体系,通过结合Ironmail邮件安全网关的专利操作系统、高效垃圾邮件判断引擎和多层防病毒引擎,提供全球主动防御和本地智能分析的完美结合,能够抵御来自Internet针对邮件业务的各种攻击,降低了网络安全风险,节省了网络带宽。用户部署的IronMail网关通过自动更新垃圾邮件特征库,结合本地基于遗传优化算法实现的策略调整,时刻保证运行在最优状态,实现无人管理。
IronMail邮件安全网关在同一台设备上可以同时进行邮件,病毒扫描,垃圾邮件过滤,邮件安全发送等功能,并且能够和邮件系统完美、无缝集成。用户在用了基于IronMail的邮件安全解决方案之后,大大增加了邮件的安全性。
网络优化:立“监”成效
在网络优化领域,北京合力与全球领导厂商Riverbed合作,致力于为用户提供广域网监控和数据加速的解决方案。
北京合力为“首都之窗政风热线频道”提供应用性能监控,作为首都市民参政、议政的窗口,颇受市民欢迎,运行系统分为“咨询与投诉系统”和“走进直播间”。
“咨询与投诉系统”主要用于接收网民信件并转发政府相应部门和单位,各部门和单位凭帐号登录后接收并处理信件、予以回复。设置有监督人,可以审批退信申请、时限修改申请、内部重办、对来信人重办审批、查询所有信件、查看信件处理状态;“走进直播间”主要用于前台网民在直播时发言,通过数据库方式进行审批之后;网民可以看到审批之后的网民留言、嘉宾访谈记录、现场图片。任何数据的对外均需要经过后台审核。同时每次的历史记录均可通过系统对外并查询。
“咨询与投诉系统”和“走进直播间”系统存在着例如系统响应变慢、经常性的系统停机等性能问题,亟待解决。首都之窗希望在北京合力的帮助下,寻找一个能够分析和监控政风系统的工具,以解决性能问题上的监控、定位和分析问题。
北京合力通过CA Wily应用性能管理方案大大提高了网站的监管能力。方案实施后,能够全天候严密监控应用系统使用情况,简单的监控界面大大加快了运维。同时,通过CA Wily管理方案,使人员对运行故障的判断和跟进速度,改变了过去大海捞针和部门扯皮的做法。方案还能清晰地判断现有系统的性能瓶颈问题,并协助用户解决内存泄漏、配置和 HTTP 会话管理等问题,改变被动救火管理模式为主动预防的管理模式,管理人员实时掌握整个应用系统性能变化,通过有效的管理流程以及灵活的性能报警机制,可以避免问题的发生和更快地解决问题,提高系统的可用性和可靠性。
应用背景
随着信息化技术的普及发展,广西柳州市财政局已经进入到财政精细化管理阶段,并率先搭建了以“数据存储与容灾”为核心的综合业务系统平台,为财政行业IT建设提供了宝贵的借鉴经验。
柳州市财政局业务系统平台现运行着三套业务系统:柳州市财政局财务系统、国库集中收付系统、非税收缴系统,其中财务系统和集中收付系统采用双机互备模式。由于办公地点搬迁,柳州市财政局准备把原系统平台部分设备搬迁到柳江县,并计划实施异地灾备平台建设和本地OLAP业务系统建设,对新系统按照全光纤冗余SAN平台架构来重新设计,并在灾备点建立容灾机制。
系统分析
该系统承担着关键业务的运营,包括各类扩展业务、数据支持等支撑子系统的运行,整个系统的不间断运行能力对于保证柳州市财政局整体工作的顺利、平稳开展,具有极其重要的作用。数据丢失或系统停机所造成的损失是财政部门不能接受的。因此,在限定时间内,如何成功地实现数据的灾难恢复是柳州市财政局业务系统安全运营战略中的一个关键组成部分。
要确保业务系统能持续稳定运转的核心就要建立强大的数据容灾体系,以抵御、防范各类风险。在与浪潮存储接触后,柳州市财政局相关领导决定将建设数据存储与容灾系统工程列为当前柳州市财政局IT业务系统建设的重中之重。
浪潮容灾方案
根据浪潮存储对柳州市财政局信息化建设的环境实地分析,并结合成功的经验,浪潮设计了一套整体的数据存储与容灾方案,即由浪潮提供两台高端企业级光纤存储AS1000,通过启用数据同步镜像功能,使关键数据跨越电信光纤链路专线,实时保证两台企业级光纤存储中数据的一致性,从而实现基于存储系统(光纤磁盘阵列)的异地容灾系统。
系统如图所示,通过在主业务中心(柳州市)和灾备存储站点(柳江县)的两套AS1000之间建立一个FC-SAN架构的容灾存储系统,服务器主机通过SAN与两台浪潮存储AS1000系列相连接,主业务存储站点AS1000和后备运营站点AS1000分别放在本地、异地网络里,通过两端配置数据镜像功能,可以把AS1000的数据备份到另一个AS1000中,实现相互远程数据同步镜像。
AS1000既可实现生产存储数据的实时复制,又使备份存储处于工作状态,随时准备接替主站点的工作。在主运营存储站点的AS1000一旦出现故障,可在较短的时间内把主要业务应用切换到备份存储上,实现数据的本地容灾备份。