前言:我们精心挑选了数篇优质云计算基本架构文章,供您阅读参考。期待这些文章能为您带来启发,助您在写作的道路上更上一层楼。
关键词:云计算;虚拟化;VMware;VMware vSphere;架构
中图分类号:TP303文献标识码:A文章编号:16727800(2012)008000602
作者简介:连鸿鹏(1987-),福建师范大学协和学院初级网络工程师,研究方向为云计算。
0引言
虚拟化技术是伴随着计算机的产生而发展的,虚拟化意味着对计算机资源的抽象。虚拟化技术实现了物理资源的逻辑抽象和统一表示,通过它可以提高资源利用率,并能够根据用户业务需求的变化,快速、灵活地进行资源部署,因此,虚拟化技术已经成为构建云计算环境的一项关键技术。
VMware 云基础架构能够让现有的用户从虚拟化中获益,加速了现有数据中心云计算的转移,与公共云基础兼容,铺平了向混合云模式前进的道路,成为云计算的新里程碑。
本文主要讨论作为X86体系结构虚拟化技术的代表,VMware公司基于已有的虚拟化技术和优势,提供了云基础架构及管理、云应用平台和终端用户计算等多个层次上的解决方案,主要支持企业级组织机构利用服务器虚拟化技术,实现从目前的数据中心向云计算环境转变方面的架构分析。
1VMware vSphere 简介
VMware vSphere是在原来的VI3基础上推出的系统,被成为业界首款云计算操作系统。vSphere将应用程序和操作系统从底层硬件分离出来,从而简化了 IT 操作。现有的应用程序可以看到专有资源,而服务器则可以作为资源池进行管理。vSphere以原生架构的ESX/ESXi Server为基础,让多台ESX Server能并发负担更多个虚拟机。主要包括3部分:一是虚拟化管理器VMM部分的VMware ESX 4,VMware ESX Server主要是用于调配物理服务器中内存、CPU、存储及网络各种硬件资源,运行在物理服务器上的一个虚拟层并根据预定好的策略将这些资源分配到运行在其中的各虚拟机中,这些虚拟机以安全独立的模式并行运行;二是用于整合和管理VMM的VMware vCenter,提高在虚拟基础架构每个级别上的集中控制和可见性,通过主动管理发挥 vSphere 潜能,是一个具有广泛合作伙伴体系支持的可伸缩、可扩展平台;三是用于管理客户端的软件VMware Infrastructure Client。
VMware vSphere 主要通过虚拟化技术将数据中心转变为云计算基础架构,通过虚拟化提供自助部署和调配的功能,将IT基础架构作为服务来交付使用。vSphere是一个整体架构而非单个产品,基本架构如图1。
图1VMware vSphere 的基本架构
2.1vSphere的云端部分
vSphere所谓的云端是指平台及架构部分(PaaS和IaaS),可以分为内部和外部云端。内部云端由各种硬件资源组成,并有vSphere负责统合云端资源,在IaaS及PaaS中,资源为硬件及OS资源。外部云端vSphere可以将这些第三方提供的资源集成到企业的IT架构中。
2.2vSphere的底层:架构服务(Infrastructure Service)
有了硬件资源之后,就需要一个Hypervisor将资源集成,然后ESX和ESXi服务器将负责硬件资源虚拟化。Infrastructure Service主要可以分为运算部分的vCompute、存储部分的vStorage以及网络部分的vNetwork。
(1)vCompute部分。vCompute包括了ESX/ESXi以及DRS。ESX/ESXi主要实现服务器整合、提供高性能并担保服务品质、流水式测试和部署及可伸缩的软硬件架构。DRS确保按需调整资源配置,根据需要和优先级压缩和增加应用系统的资源,动态的响应负载平衡。
(2)vStorage部分。vStorage包括VM所在硬盘的文件系统VMFS以及动态分配大小的Thin Provisioning,提供多种存储虚拟连接选择,通过vStorage VMotion减少或消除计划内停机,通过精简部署降低虚拟环境的存储要求,通过vStorage API简化管理并提高存储操作的效率。VMFS是专门为虚拟机设计的高性能集群文件系统,该系统可以在VMware虚拟机的VMware虚拟数据中心环境中访问共享存储。
(3)vNetwork部分。VMware的网络虚拟化技术主要通过VMware vSphere 中的vNetwork网络元素实现。通过这些元素,部署在数据中心物理主机上的虚拟机可以像物理环境一样进行网络互连。vNetwork的组件主要包括虚拟网络接口卡Vnic、vNetwork标准交换机vSwitch和vNetwork分布式交换机dvSwitch。vSphere提供了一个Distributed Network的架构,不但有完整的Bridged/NAT/Host only架构,更和Cisco合作推出一个专门安装在vSphere上的分布式网络。
2.3vSphere的Application Service
关键词:云计算技术;计算机应用大赛;应用
如今的计算机已经越来越趋向智能化发展,为信息的查找、储存和计算带来了便利条件。在时展的影响下,人们需要存储和查找的信息越来越多,对计算机也更加依赖,云计算技术就是在这样的背景下产生的,云计算技术的出现与现代人的需求非常吻合,得到很快的发展。那么云计算技术是什么,它是如何在大学计算机大赛中应用的,下面就让我们带着这些疑问一起走进下面的内容。
一、云计算技术是什么
物美价廉是云计算技术的最大优势。成本低得原因在于云计算技术本身是由众多实用性强、性价比高,同时又物美价廉的服务器组合而成,虚拟化技术是这种组合的媒介。虽然这种组合比较松散,技术含量也不是很高,但是它却可以最终构成一个非常庞大的存储系统,这个系统中包含的信息可谓不计其数。在此基础上,该系统还具有将计算机中心进行大范围扩展的功能。因为使用者在支付金额时可以根据自身的信息存储来进行,所以该系统还具有为互联网付费的业务。用户在支付费用之前可以对自己需要的资源数量进行估算,然后进行购买支付,这样的付费流程可谓简单快捷,又省时省力。
大学计算机应用大赛需要对大赛每一位参与者的作品和参与信息进行存储,所以需要的信息量是非常大的,所以专门在大学计算机应用大赛中应用到的系统是有别于其他系统的,它本身存在着一定的专业性与特殊性,因为用户提交上来的东西一般只是作品的代码,这就是这个系统的特别之处。如果利用传统的软件,就要用户通过邮箱将作品上交,经过评委进行审核。在云计算技术的帮助下,一个在线交流与审核作品的平台形成了,通过这样的流程对作品进行审核,省却了很多复杂的程序,节约了人力与时间资源。
二、云计算技术是如何在大学计算机应用大赛中应用的
(一)云计算技术针对大学计算机应用大赛的应用架构
云计算技术在花费少的基础上还具有扩展功能、服务、计算机功能以及很多隐性价值,其主要特点是用互联网、用服务和使用量做基础。云计算技术的核心主要有虚拟化技术、网络计算、网络存储等等。云计算技术的基本架构可以分为三个方面:基础设施、应用程序和应用平台,他们分别为使用者提供互联网资源、存储资源和计算机资源,资源的全面性不可小觑。
1.云计算技术的基本架构――基础设施
云计算技术在大学计算机大赛中的应用主要表现在为参赛者和评委之间搭建交流的平台。这个平台式利用硬件服务来完成的,换一种说法就是,它运用的是由众多服务器组合而成的存储资源池和内存资源地。所以可以为平台服务和存储空间提供不同的等级,云计算技术可以针对与计算及应用竞赛相关的重要数据进行适当的处理,服务方便并且快捷。
2.云计算技术的基本架构――应用程序
应用程序主要由参赛团队对作品进行布置,在最短的时间内完成远程调试的工作,这样才能在最大的程度上对大赛服务系统和评审系统进行服务。
3.云计算技术的基本架构――应用平台
应用平台的最重要功能就是为操作系统和围绕特定应用提供重要服务。换句话说,利用虚拟化技术提供IOS操作系统和Linus操作系统以及相应的操作模板。还可以为计算机竞赛提供专门制定的七大移动开发平台,比如Apple、Android等。
(二)针对计算机应用竞赛的云计算应用得以实现
云计算技术在计算机竞赛中主要的责任范围就是为参赛团和参赛者提供计算资源。资源量的提供与实际的需求应该达到吻合的状态。还有,大学生计算机应用大赛的规模通常都比较大,而且对参赛者和参赛团的地域没有任何限制。这样,云计算就应该发挥平台作用,为评委提供跨区域的评审环境。选手可以通过网址对云端开发环境随时随地的进行浏览以及访问。
云计算平台的主要技术有网络安全技术和负载均衡技术,有了这两大技术的帮忙,云计算平台无论是数据的访问速度还是硬件的支撑能力都得到了大幅度的提高,从而使系统的应用性和安全性得到了提高。
云计算平台对云计算带来的负载和失衡问题都能够得到有效的解决。云平台应该做到服务的安全性,所以无论是着眼于网络安全、数据安全还是虚拟化安全云安全都是最佳选择。为了保护数据的安全,云安全将数据进行备份,如果真的不慎发生数据丢失的现象,只需要短短的一个小时,数据就可以得到复原。为了给来自互联网的威胁做保障,云计算还很好的引用了虚拟技术。
(三)云计算技术的具体应用过程
首先参赛者或参赛团需要向资源平台提出资源请求,可供选择的平台有多个,选择后只要付费就可使用。由云平台提供的资源的用处是多方位的,可以将各开发环境和版本进行备份,还可以建立并维护快照。在整个竞赛过程中使参赛者和参赛团体之间和睦的展开工作,工作效率也得到了提高。
大学计算机应用大赛规模非常大,参赛者、参赛团体甚至评委都是来自五湖四海的人,这时是很难建立起集中的现场评审模式的。云计算平台在这时充分发挥出它的作用:评委只需要进入网址,登陆云计算平台,就可以对参赛团队的作品代码进行查看,最后对作品进行公平公正的评判。
结语:
基于以上论述,云计算技术在大学计算机应用大赛中进行应用可谓势在必行,云计算技术的应用不仅使异地评审得以实现,而且省时省力,最大程度上保障了参赛团体数据的安全性。并且,云计算技术还具有使用简单、价格低廉等特点,随着技术的不断完善,云计算技术一定会为更多计算机竞赛所应用。
参考文献:
[1]牛爱芳,杜煜,钟丽,杨沛. 基于云技术开展大学生计算机应用大赛的研究[J]. 实验技术与管理,2013(9).
[2]薛永献. 云计算技术在大学计算机应用大赛中的应用[J]. 电子测试,2013(13).
[3]张可. 云计算技术在企业信息工作中的应用研究[J]. 科技致富向导,2013(27).
[关键词]VMware vSphere;云平台;应用技术
中图分类号:TP391.9 文献标识码:A 文章编号:1009-914X(2014)47-0249-01
0 引言
自2006年以来,云概念的提出受到IT界内的很大重视,各大IT公司纷纷研发相应的云产品,为代表的云计算在全世界内得到快速发展。广义范围上,云技术是通过网络服务器向客户提供在线软件服务、软件租借、数据存储及数据挖掘的服务,涵盖多种技术,如虚拟化、分布式计算、分布式数据库及分布式存储等技术。虚拟化技术是云计算技术的基石,是实施的关键技术。利用虚拟化技术才可实现软硬件、操作系统、存储及网络等的虚拟化,最终得以实现云计算的目标。VMware vSphere作为重要的虚拟技术,对于云平台的搭建有着不容小视的作用。
1 VMware vSphere系统概述
1.1 虚拟化技术的含义及地位
当今社会的虚拟化技术是目前大型的数字化控制中心进行硬件资源的整合及提高价值的重要 技术,分为完全虚拟化、部分虚拟化及操作系统层虚拟化三种形式。虚拟化属于一个抽象概念,打破了普通物理硬件和操作系统间的物理连接形式。
服务器虚拟化系统实质是利用虚拟技术在服务器里虚拟出许多客户机进行整合式管理,而这些 客户机是能够相互独立且运行不同操作系统及应用程序。为了成为面向全体用户的系统,必须要设 计一个拥有简洁友好界面的虚拟化客户应用程序,能够更好满足对用户灵活有效管理与服务,实现虚拟化,VMware vSphere就是其中的典型虚拟技术。虚拟化技术涉及的范围十分广,包含服务器虚拟化、桌面虚拟化等技术。
1.2 VMware vSphere虚拟技术简介
VMware vSphere是从原先的VI3基础之上推出的新系统,被称作信息技术业界首款的云计算操作系统。它将应用程序及操作系统从底层的硬件分离出,并通过此简化了IT的操作难度。在现有的应用程序中可以看到有专有的资源,其服务则能够作为其资源池来进行管理。 系统主要包括三个部分:首先是虚拟化的管理器VMM处部分的VMware ESX4,Server一般是用于调配的物理服务器中相应内存、CPU、存储和网络之中的各种硬件资源,在物理服务器上运行的一个虚拟层并通过由此预定的策略将这些相关的资源分配到其中不同虚拟机的运行之中,这些相应的虚拟机凭借安全独立的模式进行并行运行;其次,用来整合及管理vCenter,在虚拟基础架构所有级别上集中控制及可见性都需要提高,利用主动地管理发挥其内在潜能,成为具有广泛合作的伙伴体系可支持、可伸缩及可扩展的平台。
2 云平台系统搭建中VMware vSphere的应用
2.1 VMware vSphere云计算应用综述
VMware vSphere系统能够利用虚拟化技术将数据中心转换为云计算的基础架构,能使IT行业拥有提供灵活可靠服务的机会。其两个核心组件包括VMware ESXi及VMware vCenter Server。其中ESXi属于用来创建及运行虚拟机的中体平台。而vCenter Server[2]可以归类于一种服务,相当于连接到网络的ESXi系统主机的主管理员。
vCenter Server可以将多个主机资源加入资源池中对这些资源进行。此外,vCenter Server还提供许多额外功能,可以来监控及管理物理及虚拟基础的架构。典型数据中心由物理构建块,如x86虚拟化服务器及存储器网络等。
2.2 可扩展VMware vCenter虚拟技术及其应用程序
VMware vCenter常指VMware vCenter Server。VMware vCenter Server提供一个可伸缩且可扩展的平台,给虚拟管理奠定基础。该管理的主机可以提升虚拟性构架的可见性,并能够实现集中化的控制与管理,对其潜能的充分发挥具有十分重要的作用。vCenter Client影响到所有VM的创建、管理、运行及维护的水平,可以使管理主机的服务器优化资源并提高其可用性,从而实现动态化迁移、容错率提高,并完成应用备份。一般VMware vCenter应用程序包含三种,其主要表现如表1所示。
2.3 Mware Data Recovery虚拟备份技术
VMware Data Recovery技术能够创建虚拟机备份,还可以不会中断虚拟机使用或其数据及资料的提供。Data Recovery可以管理现有备份数据资料,并且在备份过时后及时将它们删除。此外,它还可以支持重复功能用来删除其余的数据。
Data Recovery是建立在VMware vStorage API for Data Protection基础上的,与VMware vCenter Server之间集成,可以进行集中调度备份作业。通过与vCenter Server之间的集成,还可实现虚拟机的备份,也就是使用VMwarev Motion及VMware Distributed Resource Scheduler移动该类虚拟机。
Data Recovery可以使用虚拟机以及客户端插件来进行管理和还原相应的备份数据。备份设备是为了开放虚拟化格式而提供的。因此,该插件需要安装Client,基本可在所有由VMware ESXi支持虚拟磁盘上的存储备份。此外,还可以利用存储区域网络、网络附加存储设备和基于具体公用文件的系统。
3 总结
VMware vSphere的应用对于构建当今信息社会的云平台有不容忽视的作用,它的虚拟化的管理器VMM及用来整合及管理的vCenter等对于“云计算”虚拟管理十分重要。随着信息时代的发展,VMware vSphere、Mware Data Recovery等新虚拟平台应用将会越来越为人们所接受。
参考文献
关键词:云计算;数据中心;资源管理
中图分类号:TP315
21世纪以来互联网技术的发展十分迅速,随着时间的增长,一些陈旧的网络设施不断的被淘汰,开始进行更新换代,换代的同时计算机技术的应用也不断的被广大的人们所熟知,互联网技术中有一个重要的环节对网络的发展起到承上启下的作用,那就是数据的存储,如今随着计算机技术的不断发展这种设备的成本也随之降低,这也促使互联网的用户不断的提高。人们慢慢的都进入了互联网的时代,使得当今社会也变的越来越信息化,同时也有很多的数据要进行处理,使得传统的一些数据的计算方法不再适合当今互联网的发展速度,因此传统的一些数据中心也满足不了当今的需求。本文主要结合当今云计算的发展状况,研究了云计算的基本理论和概念以后,深入分析了云计算的基本架构。
1 云计算数据中心的概述
1.1 云计算的概念。云计算的定义比较多,与之关联的理论也比较多,但是总体来讲主要有以下3个方面:第一分布式计算;第二信息海量计算;第三,并行数据计算。这些概念基本上都是美国标准语技术研究中心提出的,是国际上通用的概念。云计算并不是无偿的服务,它是需要收取一定费用的,收取费用的计算主要是客户使用网络流量的费用。目前移动网络也不断的发展已经从2G发展到了4G网络,互联网时代开始更新换代。这也使得云计算技术运用越来越广泛,用户可以随时随地的通过访问面来获取自己想要的数据服务,或者计算的结果,并且获取的过程是简单而轻松的。与此同时工业的生产也不断的运用云计算技术开展生产活动,随着时间的推移,云计算在工业生产中的运用不断的扩大和普及,也越来越成熟,涉及的工业领域也越来越多。
1.2 云计算的原理。云计算的原理和云计算涉及理论领域有着密切的关系。从这些领域我们可以看出云计算技术的主要目的是将需要处理的数据在网络上的其他计算机上进行处理和计算。而对于企业的一些数据中心来讲,云计算的运行原理和和网络上的一些原理是相似的。唯一不同的就是企业的数据是根据需求来定的,随着网络的普及以及网络速度的加快,移动客户端数据也不断的发展,云计算的服务也越来越广泛,比如利用手机进行购物等都是云计算衍生的产品。这些技术与以往传统的网络相比变的越来越开放,不像以往使用单机进行数据处理,如今随时随地都可以操作,这样也使得互联网在一定的程度上越来越普及。
2 ITIL架构
目前应用最为广泛的架构就是ITIL架构,这种架构主要分为6个不同的模块这些模块在一定的程度上有很大的联系,它们并不是孤立的,在实际的工作中要相互作用的,这样才能完成各自的任务,下面分开介绍这6个不同的模块:
2.1 服务支持。该部分主要是对执行某项任务时,都由哪些人员参与,他们分别扮演何种角色,以及整个任务执行的具体细节进行描述,将联系用户以及细节的“服务台”功能进行明确的定义。服务支持在整个云过程中所关注的重点是,IT组织是如何按照SLA标准向具体客户提供IT服务的。
2.2 服务交付。该部分主要是用来对客户开展某项业务所需要的服务,主要的服务内容就是对客户的要求进行任务分工以及IT组织在提供这项服务时所需要具备的资源进行描述。在服务的过程中一些不同的人员要执行不同的工作内容,服务交付在整个云过程中所关注的重点是,IT组织如何与客户签订具体的SLA等级协定,并在具体工作开展的过程中对SLA目标实施监控。
2.3 安全管理。安全就是保证用户信息的安全,此模块记录很多用户的数据,这些数据的主要内容是记录一些具体的规划和管理信息及IT服务所达到的安全流程水平,用以评估和控制所存在的风险,同时根据评估结果给予相应的解决。进行安全管理的目标就是要保证整个服务过程的保密性、完整性以及可用性。
2.4 IT基础设施管理。IT基础设施的管理十分重要,其关系到业务成本的问题,只有合理的对基础设施进行管理才能保证最大的业务需求,创造更大的利润,这个模块最主要的任务就是保证IT架构的运行效率,以最小的运行成本保证最大的运行效率是其最主要的任务,可以有效的保证IT基础设施的稳定建设。
2.5 应用管理。应用管理就是对客户端上的应用进行管理,这个模块的主要任务就是对各个应用的生命周期进行管理,并且对客户进行管理的指导,以使他们能够在最短的时间内从服务管理的角度对整个应用系统有着较为全面的了解。
2.6 服务管理规划与实施。该部分主要是对服务的组织、实施以及改善服务管理流程,对整个过程中所出现的问题以及具体任务进行再规划、设计,帮助客户确立远景目标,同时对服务改进方案进行全面的、持续的指导。
2.7 业务视角。所谓业务视角,是用来强调服务的开展应该从业务的角度触犯,而不是只关注服务的交付者,让IT服务人员明白其主要工作是为了实现具体的商业目标,是为了给用户创造最大的价值,做出最大的贡献。
3 ITIL的云计算数据中心管理理念
对于目前面向服务的数据中心架构来讲,如果要是这些架构能够稳定的、可靠的运行就必须有一些合理的管理模式,通过强大的管理模式把服务层的每个架构进行联系起来,才能够使得系统的运算结构有效的运行,也能使得网络的基本结构得到很好的改善,目前面向服务的数据中心架构能够最大的优化系统资源的配置。上一章详细的讲了ITIL的数据架构,这些架构在理论上是比较成熟的,也能够经得住长期的实践考验,在具体的实际应用中还要根据客户的需求进行设计,设计的标准很多,其中最主要的有;结果要能实施、对总体的需求能够准确的表达,既然主要是面向客户的架构,那么所有的设计都要根据客户的需求来定,这样才能满足客户需要的功能。
4 云计算资源的管理
4.1 云计算管理模型。主要分为两个部分,一个是被动式部件一个是主动式的部件,这两种系统的结构都具有层级的结构,其中主动式的部件就是系统的各种资源,就是对系统的数据进行反复的利用,作用的内容就是系统结构的内容,通俗的说就是执行传统以及非传统计算过程。而作业是整个层次结构的实体,调度的主要内容就是吧任务映像到资源,而不是将作业映像到资源。
4.2 云计算的资源调度。云计算中关键的系统就是云计算的资源调度系统,它直接影响着资源管理的有效性和可操作性,然而云计算的动态性能以及云计算的结构性能又直接影响着云计算资源的调度,直接影响云计算的系统复杂性。云计算资源的调度系统设计可分为3类,主要有集中式、分布式以及层次式等,在这3中调度的类型中,集中调度最为常见,它主要是通过一个中央的调度中心进行数据的交换,这种调度方式主要是通过一个程序进行的,其中所有能够使用的信息都能够在数据的中心体现。分布调度的原理主要是进行交互式的作业,主要把数据传送到远程的存储器中,用户可以通过网络访问这个服务器从而获得相关的数据,这种操作并没有中心的系统进行操作。
5 结束语
云计算技术越来越流行,都归功于计算机技术的发展,人们对网络的需求与日俱增,如今这种需求涉及到很多的方面和领域,不仅在企业中有所体现,在日常生活中都与人们息息相关,本文全面的接受了云计算的一些基本架构,分析了云计算的一些概念和原理,初步了解云计算技术有一定的作用,作者水平有限,没能在云计算的硬件和软件上深入分析,希望这以后的生活中继续研究。
参考文献:
[1]罗军舟,金嘉晖,宋爱波.云计算:体系架构与关键技术[J].通信学报,2011(07):3-21.
[2]张亚娟.云计算数据中心资源管理软件设计[J].无线互联科技,2014(04):90+94.
[3]罗兴宇.浅析云计算数据中心的资源管理[J].计算机光盘软件与应用,2014(05):40-41.
关键词:云计算 安全防护体系
一、云计算及特点
1.什么是云计算
云计算是当今信息领域的发展热点,它不仅建立了一种基于互联网为用户提供弹性计算资源服务的新型商业模式,也提出了一条可行的通过整合网络上分散信息资源来满足“大数据、大用户、大系统”需求的技术解决途径。由于云计算在经济、敏捷、创新方面的突出特点,已成为大数据时代信息产业发展的有力推手。
云计算通常包括“云平台”和“云服务”两个部分。“云平台”是由网络、服务器、软件、数据等大规模计算资源集合及其调度与管理系统组成的“实体”中心,可为用户提供各类“云服务”;“云服务”是“云平台”的外在表现形式,主要有IaaS(基础设施即服务)、PaaS(平台即服务)和SaaS(软件及服务)。
2.云计算的特点
云计算的核心思想是通过一套高效的技术机制来将大量计算资源整合成资源池,按需提供服务。与传统的数据中心相比,云计算具备以下特点:
(1)资源虚拟化
云计算通过虚拟化技术将海量的服务器、存储、网络等整合为虚拟的“资源池”。用户只要通过终端接入云平台就可获取资源,不需要了解实际资源的具置、实现方式。实际计算资源即使因各种原因发生变化或调整,也不会对用户产生影响。
(2)弹性调整
一方面,云计算可按需动态调整资源,自动适应业务负载的动态变化,以保证用户使用的资源同业务需求一致,避免资源不足引起服务中断或资源分配过多引起闲置资源浪费;另一方面,云计算资源可以根据需求进行快速、弹性扩展,以满足用户增长的需要。
(3)多租户服务
云计算采用了分布式计算和资源动态分配技术,并按照资源使用来计费,按照服务计费。这样云计算所有资源都可以被多个用户共享,用户之间也可以分享资源及应用,提高了资源利用率,实现可扩展和更低的运行成本。
(4)高效可靠
云计算服务的交付和使用都是基于网络来实现的,网络的持续高效特点贯彻云计算的始终。与传统数据中心相比,云计算使用冗余技术来实现资源的可靠性,通过数据多副本容错、计算节点同构、数据分布式存储等措施来进行备份冗余,并能实现灾难恢复,可以更好的保障服务高可靠性。
二、云计算安全风险分析
与传统网络应用不同,云计算采用了用户数据放置云端、多租户共享资源、虚拟化整合资源等技术来整合海量资源为用户提供服务,在带来低成本、高性能等好处同时,由于云平台的巨大模以及其开放性与复杂性,成为被黑客集中攻击的目标,面临了比以往更为严峻的安全风险。安全问题已成为影响“云计算”推广应用的首要因素。
参考云计算体系基本架构,从IaaS安全、PaaS安全、SaaS安全、终端安全等四个方面对云计算的风险进行了分析,见表1所示。
从表1可以看出,由云平台自身特性导致的主要风险包括以下几类:
1.应用与数据集中后的数据安全风险
数据安全是指数据机密性、完整性和可用性的安全。用户的应用和数据均存储于云平台,数据传输、访问、存储、审计等各个环节都存在安全风险,可能导致数据泄露、丢失甚至被篡改。
2.共享技术漏洞引入的虚拟化安全风险
虚拟化实现了计算和存储资源的共享。但若共享技术存在漏洞,如录入数据未有效隔离,虚拟机管理程序存在漏洞等,会导致用户信息泄露,甚至非法用户通过漏洞直接控制真实资源。
3.多租户模式带来的数据泄露风险
多租用应用服务模式下,租户的数据存储在非完全可信的虚拟的云上,恶意租户可通过共享资源对其它租户和云计算基础设施进行攻击,租户敏感信息面临着极大的泄露风险。
4.安全边界不确定带来的运营安全风险
由于没有传统的物理安全边界,攻击者可以利用接口进入云环境后安装恶意软件实施破坏,或通过网络拦截方式获取用户账号信息后,冒名登陆客户的虚拟机实施恶意破坏。
5.云平台自身缺陷导致的服务中断风险
由于云平台存储着大量的用户应用及数据,更容易成为黑客集中攻击的目标。一旦因云平台自身隐患或漏洞出现问题,将可能导致服务中断,造成难以挽回的损失。
三、云计算安全防护体系架构
从云计算的基本过程来看,其“端到端”的应用模式涉及到用户终端、网络传输以及云平台内部的“基础设施、平台和应用”各个环节,仅按照以往的边界防护方式难以防范运行在平台上的应用,不对用户端和应用过程进行监管,也无法防范非法用户和恶意攻击。因此,解决云计算安全问题必须从实施基于风险的安全管理入手,即建立云计算安全防护体系。
1.云计算安全防护目标
通过整体防护,为云用户提供端到端的安全可信的云计算服务环境,保证用户的数据安全与隐私不泄露,确保应用的完整性、保密性、可用性;通过过程管理,对云计算服务各个环节进行防护管理,保证云平台运行安全可靠。
2.云计算安全防护体系基本架构
云计算安全防护体系,应按照“过程防护、分层防护、多手段综合、实时监管”的思路构建,其基本架构由基础设施安全防护、平台安全防护、应用安全防护和终端安全防护和安全管理等五部分组成。
(1)基础设施安全防护
IaaS为用户按需提供实体或虚拟的计算、存储和网络等资源,是云计算体系的基石。Iaas安全除应具备传统数据中心的物理安全、网络安全、系统安全等安全防护手段外,虚拟化安全是IaaS安全防护最重要的任务。主要安全措施包括:
应用安全保护,主要是通过采取快速切换、容错虚拟机、资源冗余备份等措施,当出现硬件故障、虚拟机故障时,能及时保存用户应用进程、分配备份资源,以保证用户应用的高可用性。
虚拟化安全防护,重点是做好虚拟机与真实系统的隔离。一方面,要做好虚拟服务器的数据隔离备份和逻辑隔离,保证虚拟服务器安全;另一方面,通过虚拟化管理软件对虚拟器服务的创建、运行和销毁进行管理,保证用户不能介入虚拟化软件层;
资源安全防护,主要是用户审计,避免非授权认证用户接入、资源被非法访问。
(2)平台安全防护
PaaS层又称中间层,主要包括操作系统和数据库、开发软件等中间件,为用户提供软件的应用开发和运行环境。PaaS层安全包括平台安全、接口安全和应用安全,除保证为用户提供可信的软件开发运行环境外,重点是保证用户接入安全、用户应用隔离。主要安全措施包括:
用户身份认证,通过使用身份联合、单点登录和统一授权等措施,保证云环境下能安全共享用户身份信息并对其认证、授权,确保合法用户按权限安全合理的使用云资源。
云密码服务,为保证接入安全、用户数据安全,基于公钥体制为用户提供云密码服务,使用户能利用云密码服务来对自己的业务流进行加解密,保证接入安全、用户数据安全。
云审计服务,即由第三方对云环境安全进行审计,并公布相关证据及其可信度。一方面云服务提供商向用户证明提供的中间件及运行环境可信,另一方面通过对用户的应用软件审计,避免云环境被非法利用。
(3)应用安全防护
SaaS层面向云终端用户,为其提供基于互联网的应用软件服务。SaaS安全的重点是应用安全,主要安全措施包括:
数据隔离,云平台下的应用软件是将所有用户数据共同保存在一个软件实例中的,需要采用共享表结构、共享数据库等方式进行数据隔离,保证用户数据不被泄露。
数据加密,为保证放置于云端的用户敏感数据不被泄露,可通过数据加密技术在数据传输、访问、存储、审计等各个环节进行防护,保证数据的机密性。
访问权限控制,包括身份识别和访问控制,通过对用户访问权限的合理划分,建立安全的访问控制机制,来将用户对数据和应用的访问控制在云平台的不同信任域中,更好的实现用户隔离。
(4)终端安全防护
用户是通过终端浏览器接入云计算中心访问云端的各类服务,因此,云计算终端安全性直接影响到了云计算服务安全,必须纳入至安全防护体系中。主要安全措施包括:
基于用户端的终端防护,由用户在终端上部署防病毒、防火墙、漏洞扫描、防木马等各类第三方安全防护手段,避免终端和浏览器软件因自身漏洞被控制,防止用户登录云平台密码被窃取。
基于云端的终端防护,用云服务提供商采用安全云理念,在用户终端部署可信的浏览器及安全监控软件,建立从终端到云端的可信使用、加密传输路径,并通过软件监控、软件升级来发现并弥补浏览器软件存在的漏洞。
(5)安全管理
安全管理是保证云安全防护体系可靠运行、及时弥补安全隐患的重要环节。云计算安全管理包括系统管理、身份管理和运营管理三个方面。
系统管理,通过建立专用的云平台安全管理系统,对云平台的各类安全防护手段、软硬件系统进行统一管理和自动化部署,对云平台运行状态进行集中监控、智能分析,自动化进行安全策略动态调整。
身份管理,对内部的云平台管理及应用人员进行身份认证、权限管理和操作审计,避免因内部人员的操作失误或其他原因导致的安全风险。
运营管理,主要是针对云平台可能面临的风险,建立相应的登记审核、监管报告、风险评估、安全审计等一系列安全管理的制度,从制度上堵住在日常运营中因管理松懈е碌陌踩漏洞,保证安全防护体系能正常运行。
四、展望
云计算是当前发展迅速的新兴产业,但也面临极大的安全技术挑战。云计算安全不仅是技术问题,也涉及到产业标准化、行业监管、法律法规等很多方面。只有建立完整的云计算安全防护体系,通过对云计算安全风险分析,采取合理的安全技术与策略,才能更好的实现安全可信的云计算。
参考文献:
[1]肖红跃,张文科,刘桂芬.云计算安全需求综述.信息安全与通信保密,2012(11).
“云计算”一词源于Google等互联网公司的大数据处理过程,于2006年在国际搜索引擎大会上首次提出。以美国国家标准与技术研究院给出的定义较为权威:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池,这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。“云审计”是基于云计算而产生的,可以认为“云审计”就是在审计工作中运用云计算的概念和技术。“云审计”有两个基本特点,一是以审计工作为服务目的,“云审计”的应用是为了使审计师减少简单的计算劳动,提高审计效率;二是以云计算为技术手段,利用云计算技术升级和优化现有的审计方法。随着近年来供电企业信息化程度的提高,服务器的后台数据也越来越多,而审计师配备的个人电脑是无法满足检查这些数据的需求的。数据库中一个简单的操作指令可能都要在个人电脑上花费十几分钟甚至数个小时。而“云审计”技术却可以很轻松地解决这些问题。
二、云审计对供电企业审计工作带来的机遇和挑战
1.云审计对供电企业审计工作带来的机遇
(1)审计数据处理能力将全面增强。在云审计环境下,审计师不需要面对堆积如山的会计凭证和业务档案,云计算的高速计算技术可以根据不同的审计目的,在企业数据库中有针对性地筛选出可疑信息,进行由点及面的扫描分析,从而得到更加客观的审计评价。
(2)审计将为高层决策提供更有力的支持。云审计可以通过对特定领域的原始数据分析,提取工作流程数据的变化特点,了解业务发展的基本趋势,提前预警可能出现的风险和隐患,为高层决策提供关键支持。例如,在营销业务数据中如果发现某一类用户的满意度有所下降,就可以结合相关数据开展原因分析,研究一段时间内的变化趋势,为下一步制定用户服务策略提供依据和参考。
(3)审计项目的工作质量将得到充分提升。通过云审计,审计组负责人能实时了解每个组员的工作进度,并有针对性地提供指导、监督和复核。并能按照项目实际情况的变化,对审计要求和人员分工进行优化和变更,以更快的速度来处理审计项目的难点问题和反馈必要的审计信息,从而实现对审计全过程的有效控制,确保审计质量达到预定目标。
2.云审计对供电企业审计工作带来的挑战
云审计为供电企业审计工作的全面信息化奠定了坚实的基础,同时,也为审计工作带来了巨大的挑战。在云审计的实际应用中,还存在一些有待克服的难点和问题。一是对“离线操作”问题难以介入,当舞弊人员恶意录入与实物不符的业务数据时,数据分析工作就难以达到预定的审计目标。二是云信息安全风险,一旦用户端密码泄露或被破解,集中储存在服务器中的大量审计数据就存在泄密问题。三是电子证据取证较难,电子证据具有不可见、可迁移、可修改等特征,在取证时需要更多地关注审计证据的可靠性和准确性。四是审计师的综合分析能力还需提高,云审计需要更多的集财会、审计、计算机等技术于一身的复合型人才,审计部门必须加强对审计师的全面技术培养。
三、云审计系统的框架构建
1.云审计系统的概念和特点
云审计系统是一个全新的事物,国际上暂时还没有给出一个比较准确和完整的定义。为方便研究,本文基于信息技术现状和审计实际应用,对云审计系统的概念进行初步阐述:云审计系统是基于所获得的数据,根据审计对象的基本特性,通过设定计算、判断和限制条件建立数学或逻辑表达式,用于对审计目的进行验证的过程。云审计系统主要有五个特点:
(1)审计网络自助服务。审计自助服务免去了审计师与被审计单位在数据获取上的沟通,使审计师能自行获取所需数据,并设定疑点检查条件。
(2)高带宽网络。多个审计师可以在不同的地点获取同样的数据,在网络速度上不会受到影响。
(3)审计数据资源池。审计师可以将得到的所有数据上传至“云端”,形成审计数据资源池,共享给有相关权限的其他审计师。
(4)审计弹性架构。使审计师可以随时随地通过权限认证后登陆系统获取资源。
(5)可度量服务。为审计系统提供自动化的监控,并记录审计师的工作过程,包括审计方法、程序和证据获取手段等。
2.云审计系统建设的可行性分析云审计系统的建设并非遥不可及的事情,国内一些审计机关和大型审计机构使用的审计信息系统已经基本符合云计算的主要特点。供电企业建设云审计系统的可行性主要有三个方面:在理论基础方面,国际上关于云计算系统的理论体系已经基本完备,国内云计算技术的研究和发展也十分迅速,为云审计系统提供了充分的先决条件。在技术方面,实施云计算的各种技术方案体系已经在生活的各个方面投入应用,供电企业的审计信息化也有相当坚实的基础,完全可以借鉴其他行业在云计算方面的先进技术和经验。在成本方面,云审计系统的部署费用并不高昂。服务器和网络设备可以基于现有条件加以升级和改造,不需要全部更换。用户端也不需要更换新的设备,凡是能打开浏览器的电脑、平板电脑甚至智能手机都可以登陆云审计系统。
3.云审计系统的基本架构
目前的云计算模式有三类,包括公有云、私有云和混合云。公有云是为公众提供服务的平台,任何人都可以通过授权登入该平台;私有云是企业在内部建设的专用系统;混合云则是同时提供公有和私有服务的系统,是介于公有云和私有云之间的折衷方案。基于审计数据保密性和安全性的考虑,以组建私有云较为稳妥。基于私有云的基本服务架构,云审计系统主要包括审计资源层(IaaS)、审计平台层(PaaS)、审计应用层(SaaS)等3个层级。
(1)IaaS层是系统架构的基础,采用物理资源虚拟化技术,使系统中各个应用的不同用户实现资源共享,主要包括信息资源和硬件资源两个部分。硬件资源包括网络设备、计算设备和存储设备,为云审计系统提供网络、计算和存储等服务;信息资源通过对数据的采集、存储、分类、组织等为上层提供信息服务,包括企业审计基础信息资源库、共享数据资源以及各专业数据库组成的业务信息资源。
(2)PaaS层是系统架构的核心,采用分布式的存储和计算实现对数据的分析处理。并为上层应用服务提供运行和维护,为下层基础资源提供资源管理服务。业务开发组件提供系统程序拓展所需的环境和工具集;综合服务组件提供基础的综合管理、工作应用、用户管理、权限管理、访问控制和身份认证等服务。资源管理组件为审计资源层提供目录管理、数据采集、资源整理等服务。
(3)SaaS层是针对审计业务框架的软件服务集合,实现供电企业审计业务的核心功能,为客户端提供业务支撑。根据供电企业的业务需要,形成各项审计应用服务,并实现应用软件的云部署。其内容主要包括审计项目管理、审计业务流程、审计质量控制、审计数据分析、审计案例浏览以及其它审计应用等服务。此外,在客户端方面,审计师只要使用带有浏览器程序的电子设备便可登入系统。云审计系统还拥有高可靠性的云安全环境,对系统和数据进行全方位的防病毒检测和处理,确保审计数据的安全性。
4.云审计系统的数据处理流程
基于大数据背景,云审计系统可以将各供电企业的审计数据整合为海量的审计资源池,构成审计数据的采集、导入、分析、展示平台,使审计业务流程转化为数据处理过程。
(1)云审计系统的数据采集
云审计系统的数据采集方法必须非常全面,充分考虑审计数据的复杂性、多样性和异构性。常见的数据采集方法有两类,一类是复制采集,从被审计单位导出数据库信息或整个数据库的备份,用移动硬盘或优盘拷贝的方式,上传到云审计系统进行处理;另一类是在线采集,与被审计单位的业务系统制定标准的数据接口,不间断地连续采集业务数据,实现对业务流的动态监控。在线采集方式具有时效性强、响应速度快的优点,今后将成为主流的数据采集方式。
(2)云审计系统的数据导入
在供电企业各类业务系统的海量数据中,数据之间的结构和类型千差万别。在进行分析之前,应先将这些数据有效地导入系统,把重要数据如重要指标、近期变化数量等置入高性能存储器中,把不常用的次要数据置入一般存储器,并去除不需要的冗余数据。
(3)云审计系统的数据分析
云审计系统中集成了大量审计分析程序,利用分布式计算集群对海量数据进行各种分析和分类统计,以满足审计师的分析需求。云审计系统的数据分析具有以下几方面的特点:一是审计分析程序的可构造性。各种审计分析程序以模块化的方式提供给审计师,可以进行任意调整。审计师不再需要进行原始编程,只要在云审计系统中将程序模块像搭积木一样进行组合和排列,就可以完成分析程序的编辑,从而达到各种分析目的。二是注重对数据的全面分析。在传统审计中,由于审计师无法将所有信息和资料都看完,于是经常采用审计抽样的技术方法。但是在大数据处理时代,抽取样本检查和全部数据检查这两种方式,在云审计系统面前的区别,只不过在时间上相差数秒钟或数分钟而已。当审计师能够在很短的时间内处理完全部的数据时,就会减少对审计抽样方式的依赖。三是注重数据之间的关联度分析。在以往的审计中,对被审计单位工作数据的检查,只是对特定的业务数据进行简单的统计和复核。在云审计系统中,还可以从该项数据关联的其它数据,对审计目标加以验证。例如在审查工程费用时,可以同时检查物流部门的工程物资数据、监理机构的监理信息、工地用电记录等等,对工程的合理性和真实性进行多方位分析。四是实现对非结构化数据的分析。非结构化数据指的是图片、视频、音频等无法结构化的信息。非结构化数据在以往的信息化技术中也是一个难点,因为它们不像那些表格式的数据一样容易抽取和筛选。而在云审计系统中,图片、视频、文档也能做到自动摘要、分类处理和聚类分析,这就充分拓展了审计师的分析视野。五是实现对数据的深度挖掘。供电企业的审计数据挖掘可以从各个专业领域入手,在现有数据上进行基于各种算法的运算,实现高级别数据分析的需求,例如对业务情况进行一段时间内的趋势分析、计算业务风险发生的概率等等。
(4)云审计系统的数据展示
数据展示将实现可视化,能够直观地将数据的特点、变化和疑点呈现出来,将难以阅读的原始数据转变为界面清晰、易于理解的图表。进而使审计师能够与这些能讲故事的数据进行交流,对数据处理结果进行多维度分析,从中找到审计问题出现的基本规律和深度原因。
四、结语
关键词:融合媒体;云平台;规划;设计
1 融合媒体环境下云平台的规划问题研究
在建立相应的融合媒体云平台之前,应率先明确如下问题,即:自建自有云平台抑或租赁现成公用云平台。在选取时,应将自身实际和未来产业发展形式紧密结合,我们应该明确的是,日后的媒体业务均将建立在云平台基础之上,但这只是一个结果,其实现需要经历较长时间,其发展程度主要取决于以下二个方面:第一,播放终端的IT、IP及智能化改进,之前的通过数字信号传输的设备将被IT设备取代;第二,随着IT产业的不断完善,尤其是以光纤宽带和计算能力为主的快速发展,导致电视视频制播业务面临高码率、高存储、高计算能力的需求。综上,在很长时间里,融合媒体技术的发展将呈现多种云平台并存的局面。即:
(1)媒体自建云平台。该平台主要指卫视自行建立的基于虚拟云计算技术上的云系统。该平台主要用于解决目前制播系统向云体系过渡的问题。
(2)媒体专用云平台。该平台主要是在硬件上租赁公有平台上的各种设备及相应服务,选用云计算技术进行管理。媒体专用云平台主要针对于互联网业务。
(3)公有云平台。所谓的公有云平台主要是阿里云、亚马逊等公司提供的公共计算资源服务。使用者可以自由地在公有云平台上上传和下载需要的各类资源,对于一些高级资源,公有云平台提供付费服务。在融合媒体云平台系统中,公有云平台主要是满足社会服务功能[1]。
2 融合媒体环境下云平台的设计实现问题研究
在涉及到融合媒体云平台的设计实现方面,其中ONAIR云平台是融合媒体平台的代表作之一。作为媒体性质较强的云平台,ONAIR将专业化音视频处理技术同世界领先的云计算平台以及遍布全国的CDN网络二者深度融合,从而提高了云平台对视频端播放的控制作用,拓展了其内容制作、内容播控及网络新媒体等功能。该平台在设计时,严格遵循专业化导向,通过云平台基础服务提供商解决设施问题。
2.1 融合媒体环境下云平台的基本架构形式
通过分析ONAIR云平台可知,IaaS平台能够支撑各种最基本的云计算服务和功能,比如前文所述的阿里云、亚马逊云等公共平台。中间分布的PaaS层可以细化为6层,具体为:中间层(OM)和搜索引擎层(OCSE),这两层的主要目的为配合不同云技术服务商的不同接口,实现对不同服务商的统一封装;接口层(ESB)该层的目的是为实现其他复杂流程提供基础,并实现与老旧系统的实时交互;基础服务层(OBSP)基础服务层主要为各种音视频文件提供各类服务,比如:后期编辑、播放等功能;运营服务层(OBSS)为整个云平台的正常运营提供服务,实现对服务的管理、收费及日志记录等功能,确保平台的盈利能力;位于拓扑图最上一层的API层,将平台所有的服务以API的方式封装成接口给软件开发人员及其他合作单位。对于融合媒体环境下的云平台而言,其基本架构ONAIR的SaaS服务功能主要是为了满足融合媒体环境下的各类服务,比如网络电台、微电台、新闻云更新及自媒体云更新等。随着互联网技术的不断发展,促使人类社会的认识发生了巨大的变革,日后的互联网技术将朝着合作、开放的方向发展,因此,ONAIR的架构设计就充分体现了这一观点[2]。
2.2 IaaS服务的功能介绍
为了提高融合媒体环境下的云平台ONAIR的基础服务能力,日前,ONAIR系统已经成功和阿里云服务实现对接。就对接的成果而言,所获得的价值非常丰硕。从资源和硬件支持角度看,阿里云在国内已经初步建立了5个核心计算服务中心,计算服务器数量已经突破20万台次,这种计算规模完全可以支持目前的融合媒体环境下的云平台计算服务水平,并且还可以支持其一定程度的扩张。其中,华通云数据拥有骨干网及遍布全国各地的CDN节点,借助这一显著优势,确保了ONAIR云平台系统能够将各类音视频实时发送到全国的任何一个角落。
2.3 PaaS服务的功能介绍
(1)云平台转码服务功能:云平台的转码一般选用较为常用的集群转码方式,集群转码能很好地解决大内存的视频转码效率。因为转码系统设置在云平台上,其云计算方式可以无线放大,从而实现对视频的高效转码。在具体的视频转码操作中,高清视频的转码能力可以达到10倍率左右。因此,对于操作用户而言,仅需要给出输入输出的文件格式、码率和需要达到的转码速度即可,其具体的转码操作均可由ONAIR云平台系统自动完成[2]。(2)视频快速编译功能:选用BS架构形式,BS架构的界面部分采用低码率视频用于打点、浏览等交互操作。交互式操作完毕后,可将其上交到云平台系统,进而实现视频源代码的快速编译,从而确保视频传输和共享的清晰度。(3)视频采集服务:目前已有的SDI信号经制定编码器切换为IP形式后,可以将其实时传输至云平台端,并及时保存,当文件播放时,可将文件转移到特定系统下或者直接下载至客户端。(4)视频播放功能:IP播放系统传输至云平台后,可经过视频服务器实现与CDN的交汇对接,将播放内容实时推送至客户端口,其中包含PC端、手机移动端及互联网电视等。其中视频直播服务支持各种码率和互联网流协议。
2.4 SaaS服务功能
(1)网络电视播放:网络电视播放功能集成了视频资源集中管理和服务(VMS)及相应的网站发送模式。通过云传输形式,在发送前确定好需要沟通和交换的资源,便可快速在云端开通虚拟机,实现虚拟机与原有系统的对接。以前传统的电台建立形式需要提前购置必要的电子设备,而现在使用云端传送的形式,只要每月上缴固定的费用,便可实现资源实时获取,在计费方式上,不同于以往的以时间为单位的缴纳形式,云端传送采用按量计费,计费方式更加人性化。(2)云端媒体资源整合:以往的媒体资源整合方式主要采用本地数据流磁带库从而实现对海量数据和文件的存储和管理,由于该设备很容易出现故障,因此o后续的正常使用和维修保养造成了巨大的困难。基于存储设备生产技术的不断发展和完善,受到市场供求关系的影响,存储设备的价格逐步下滑,通过云端处理的方式实现对海量数据和文件的存储,同之前方法相比,显示出极高的性价比和稳定性,数据传送和访问更加稳定可靠[1]。(3)云端新闻更新:采用云端实时更新的方式布置新闻媒体系统,提高了新闻的推送效率,可以快速将互联网上上传的新闻推送至指定新闻系统。新闻和相关文章被推送至云端上,新闻工作者可以直接取阅并修改,提高了以往新闻文稿的更新效率。(4)体育赛事的云端播放:之前的体育比赛前实况直播系统都集成在IBC中心,节目制作者必须在比赛实地才能实现对比赛的实况转播。而云端赛事直播系统,是将IBC系统集成在云端,经过云平台将视频资料传输至相关媒体机构做进一步的编辑并第一时间,这样一来,极大地提高了赛事的制作和播放效率,压缩了工作时间,降低了相关成本,方便了节目部门的使用。比如在2014年的青奥会中,IBC系统建立了12条子系统,借助50M宽带,实现了在短时间内将实况节目传输至云平台供客户端实时收看[2]。
3 结束语
综上所示,云计算相关技术是保证融合媒体下云平台建立的基础,随着互联网及云计算技术的不断完善,云计算及配套的云平台系统必将成为新闻媒体中的生力军,必将引领新一代的技术潮流。
参考文献
IT产业三大转折
IT产业发展到今天,发生了很多重要的转折。目前,IT产业正在发生的重要转折有三个。
转折之一是技术平台正在让位于应用。以前,整个IT产业的发展都是由技术平台主导,技术平台包括硬件和软件,而未来发展的主导力量将会是应用。
转折之二是应用由线到面。信息技术应用分成三个阶段:第一阶段是数字计算,第二阶段是流程化应用,第三阶段就是互联网。我们在第一阶段是对物理量进行各种各样的计算,第二阶段处理的是结构化数据,如基于结构化数据的银行系统、机票系统、ERP,处理的是流程,第三阶段处理的是非结构化数据。第一阶段的应用只是解决一个点的问题,第二阶段的应用解决的是线的问题,第三阶段将会着重解决面的问题,当然面会要融合点和线的应用。
转折之三是大数据引领虚拟映像新技术。应用从线到面的转变,可以从根本上解决大家经常谈论的信息孤岛的问题。人们把不同的技术和应用都放在大数据的概念下,其实大数据并不是技术也不是应用,只是对数据进行关联分析。以前,数据要为应用和流程服务,但现在,我们面对越来越多的数据,首先要用数据构成服务对象的虚拟映像,然后在这个基础上提供各种服务。
基于虚拟映像构建智慧城市
1.云计算的定义美国国家标准与技术研究院(NIST)对云计算的定义是:云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池(网络、服务器、存储、应用、服务等)的计算模式。计算机资源服务化是云计算重要的表现形式,它为用户屏蔽了数据中心管理、大规模数据处理、应用程序部署等问题。通过云计算,用户可以根据其业务负载快速申请或释放资源,并以按需支付的方式对所使用的资源付费,在提高服务质量的同时降低运维成本。
2.云计算特点结合上述定义以及云计算的应用背景,其特点可归纳为:(1)资源租用化:云计算提供对计算、存储、网络、软件等多种IT基础设施资源的租用化服务,用户不需要自己拥有和维护这些资源。(2)共享资源池:资源以共享资源池的方式统一管理。利用虚拟化技术,将资源分享给不同用户,资源的存储、分配与管理对用户透明。(3)弹性化服务:服务的规模可快速伸缩,以自动适应负载的变化。(4)按需化服务:以服务的形式为用户提供应用程序、数据存储、基础设施等资源,并可根据用户需求自动分配,不需系统管理员干预。(5)服务可计费:监控用户的资源使用量,并根据资源使用情况对服务计费。(6)泛在式接入:用户可以利用各种终端设备(PC、笔记本、移动终端等)随时随地访问云计算服务。
3.云计算优势云计算是在互联网技术的基础上把所有硬件、软件结合起来,充分利用和调动现有一切信息资源,通过架构一种新型服务模式结构,为人们提供不同层次、不同需求的低成本、高效率的智能化信息服务模式。与传统的IT服务相比,其优势主要集中在:(1)资源使用灵活:以并行计算为核心,按需调度计算任务、分配计算资源,并提供从数据整合处理、计算模型设定到计算结果输出等完整的数据处理服务,为用户提供灵活可靠的平台。(2)提高设施利用率:通过虚拟化技术,在不增加新的计算能力前提下,有效提高硬件利用率。(3)节约成本:配置简单,资源即取即用,无需花费大量的时间搭建、维护计算环境,以服务的方式使用及存储资源,按需取用,按需付费,不需购买大量设备。(4)管理统一:通过云计算的统一整合,转变原来IT管理一对多模式,实现物理资源池化的机制,通过云平台统一调度,实现统一的管理入口。
二、云计算的服务类型及关键技术
1.云计算的服务类型云计算核心服务分为3种类型:基础设施即服务、平台即服务、软件即服务。其基本架构如图1所示:IaaS为用户提供硬件基础设施部署服务,如处理能力、存储空间、网络组件等,用户可以根据需求向IaaS提供基础的配置信息,以及运行于基础设施的程序代码和用户数据。IaaS采用虚拟化技术向用户提供高可靠性、可伸缩、可扩展的服务。典型服务,如AmazonEC2、Rackspace。PaaS为用户提供应用程序的计算平台和解决方案堆栈的服务。PaaS模式的重要应用场景之一是向用户交付一个支撑应用运行的应用运行平台。用户不必关注底层的网络、存储和操作系统。基于PaaS模式构建应用运行平台,需要具备:提供应用需求接口的能力、提供快速构建应用运行环境的能力、提供实时动态满足应用需求的能力。典型服务,如:GoogleAPPEngine、Hadoop。SaaS是基于云计算平台所开发的应用程序服务。软件系统各个模块可以由每个用户自己定制、配置、组装和测试,得到满足客户自身需要的软件系统。可以在此定制满足远程教育需要的远程教育教学平台,而不必考虑系统的维护和管理,终端用户可将桌面应用迁移至互联网上,实现泛在访问。典型服务,如:GoogleApps,ZohoOffice。
2.云计算的关键技术云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务。为达到这个目标,需要虚拟化、海量数据存储与处理、平台管理与调度等关键技术加以支撑。(1)虚拟化技术:虚拟化技术是指计算元件在虚拟的基础上运行,它可以扩大硬件的容量,简化软件的重新配置过程,减少软件虚拟机相关开销、支持更广泛的操作系统。通过虚拟化技术可以实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面,是提高服务效率的最佳解决方案。虚拟化技术是实现云计算资源池化和按需服务的基础。(2)海量数据存储与处理技术:云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式数据存储技术,用冗余存储的方式保证数据的可靠性。这种方式保证了分布式数据的高可用、高可靠和经济性,即为同一份数据存储多个副本,如GFS。另外,由于海量数据资源部署在大规模硬件基础上,因此海量数据的处理分析需要抽象化处理,并要求其编程模型支持规模扩展,屏蔽底层细节,如Google提出的并行程序编程模型MapReduce。(3)平台管理与调度技术:由于资源规模庞大,服务器数量众多并分布在不同地点,同时运行着上百种应用,如何有效管理服务器,保证整个系统提供不间断的服务是个巨大的挑战。云计算系统的平台管理与调度技术能够保证大量服务器协同工作,方便进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化手段实现大规模系统的可靠运营。(4)节能环保技术:云计算数据中心规模庞大,为保证设备正常工作,需要消耗大量的电能。因此,实施绿色环保的节能技术,不仅可以降低云计算中心的能耗,而且可以减少二氧化碳的排放。(5)安全管理技术:由于云计算的海量数据特性(TP甚至PB级),使得传统的安全机制难以满足安全需求,因此云计算环境下的数据安全与隐私保护成为关键技术之一。
三、基于云计算的远程教育平台建设
现代远程教育是基于互联网技术发展起来的教育新模式,它打破了时空限制,使学习者可以随时、随地获取学习资源,其优势在于资源利用最大化、教学形式多样化、学习行为自主化、学习形式交互化、教学管理自动化。目前,无论是电大开放教育、高校网络教育还是远程教育培训机构,其平台建设都是采用B/S工作模式,这种方式具有技术成熟、管理简单、资源集中、访问便捷等优点。但随着用户规模的扩充,学习需求的多样化、软硬件更新速度加剧等诸多因素的影响,传统的远程教育平台的缺点逐渐显示出来,如:资源重复建设、软硬件投入大、系统扩充能力弱、可配置性差、集中访问时对网络和服务器压力大等。
1.基于云计算的远程教育平台架构设计
云计算技术的出现为远程教育的发展注入了新的活力,为远程教育带来了更高层次的变化,也为学习者获取更好的教学支持服务提供了技术支撑。本文提出基于云计算的远程教育平台建设方案,其架构如图2所示。从图2可知,基于云计算的远程教育平台基本架构由物理资源池、基础管理层、应用接口层和远程教育应用层组成。它应包含从事远程教育所必须的一切软硬件计算资源,这些计算资源经过虚拟化后,向远程教育机构、学生提供以租用计算资源为形式的服务。远程教育云区别于其他云的关键技术在于远程教育应用层,它体现远程教育主要的业务逻辑,由一组经拓展的远程教育程序组成。远程教育应用层主要包括:(1)远程教育管理程序。实现远程教育教学和管理的业务,包含远程教学平台、教务管理系统、OA管理系统、作业管理系统、考试管理系统、虚拟实验室等;(2)远程教育应用程序。包含流媒体播放软件、文档阅读软件、在线交互程序、电子邮件等程序;(3)远程教育中间件。远程教育机构可以通过中间件系统快速开发出适合自己应用的远程教育程序。构建基于云计算的远程教育平台,其优势包括:(1)物理层方面:由于云服务提供商能提供跨平台、运算能力强大、资源丰富统一的通信平台,因此,无需购买本地服务器和网络硬件设备,仅需投入少数管理终端及云接入设备即可。其次,因所有的服务都由云端提供,无需考虑服务器运行的可靠性、可用性、安全性、完整性,大大降低维护、升级等工作量,从而节省大量的人力、物力。(2)应用层方面:教师能够轻松构建自己的个性化教学环境,促进学生高级思维能力和群体智慧发展,提高教育质量。通过网上视频教学、实时课堂、在线作业、在线测评、虚拟实验室、在线答疑等功能,为学生提供教学辅导。(3)资源建设方面:基于云计算的远程教育平台能够充分发挥云计算的特点,统筹使用各地软、硬件资源,提供强大的远程教学能力和资源提供能力,各地远程教育机构能够统一部署资源,有效避免资源的重复建设。资源访问者不需要知道资源位于何处,系统使用统一的资源列表提供最合理的服务,不再受地域、时间的限制。对于任意的一个资源访问者,系统可以自动分析IP、确定路由,寻找离他最近的资源并建立连接。(4)客户端:随着移动互联网的飞速发展,学习者可以通过配置各种标准浏览器的终端(如PC、iPAD、手机等)使用远程教育云提供的各种资源和服务,师生之间能更加快捷地采用协同模式开展教学活动,真正做到泛在学习。
2.国内远程教育云平台建设模式
目前,国内远程教育主要由电大系统、普通高校网院、远程教育公共服务体系、远程培训机构等组成,其运作模式都是自成体系,各自为阵,很难统一。其缺点显而易见,其一,造成软硬件资源的极大浪费,重复建设情况严重。其二,由于地区、观念、师资等因素差异导致教育教学平台建设质量参差不齐,教育教学发展不均衡。其三,教育模式不能有效统一,学分不能互认,学分银行建设很难有效推进。随着国家开放大学的挂牌成立,建立终生教育的立交桥有望取得突破,而云计算技术作为催化剂可以加速这一趋势的发展。中央电大校长杨志坚在2012年中国远程教育大会上发表的《选择适应与追求卓越》上提到:云计算越来越成为经济发展过程中的一个必然选择和趋势,我们要去迎接、拥抱新技术,推进国家开放大学教育信息化建设,利用新技术改变现有的教育方式。中央电大作为我国远程教育的领头羊,其具有成为建设远程教育云平台的物质条件和内在动力。因此,笔者认为国内远程教育云平台建设,可以以政府为主导、国家开放大学具体实施、高校和教育培训机构共同参与建设的方法进行。一方面,基于云计算技术建立的网络支持环境可以作为一种基础设施,供任何远程教育办学机构使用,实现了基础设施即服务。另一方面,云计算中虚拟化、按需服务等概念使得原有各级电大系统的基础设施都能充分利用,并与新增的基础设施一起通过资源调度管理后对外集成服务。因此,可以建立国家级、分部级、学院级等多级网络架构,在用户边缘采用内容缓存以减少网络流量为用户提供高可靠、高体验的远程教育服务。
四、结束语
关键词:云计算;教育资源;共享平台
中图分类号:TP311.52 文献标识码:A 文章编号:1674-120X(2016)35-0113-02 收稿日期:2016-10-13
作者简介:朱 林(1981―),男,讲师,硕士,研究方向:软件工程、电子商务。
一、研究背景
现阶段,各大高校的教育资源共享方式比较单一,效率也较低下,教育资源共享的方式通常有FTP共享、教师下发资料、通过打印实现共享或通过 U 盘进行传输,随着时代的发展,这些资源共享的方式存在的弊端越来越明显。
二、基于云计算的教育资源共享平台设计
使用云计算构建教育资源共享平台可以解决以上弊端,该平台主要实现对教育资源的高效共享和安全存储。用户包括管理员、教师和学生,用户都可以上传和下载教育资源,管理员主要可以添加教师和学生信息,并对上传的资源进行审核通过;教师可以录入试题,批阅试卷;学生则可以在线测试,并在教师批阅试卷后进行查看。主要从以下几个方面考虑平台的设计:
1.云平台系统架构的设计
系统可以采用Apache VCL云平台进行基本架构的设计,软件架构使用目前软件开发常见的N层结构模型:表示层、业务逻辑层、数据访问层以及数据存储层。其中,表示层与用户息息相关,用于显示平台输出的数据以及系统接收用户输入的信息,为用户提供一个可以进行人机交互操作的平台;业务逻辑层是整个系统中的核心部分,主要功能在于系统业务规则的制订、业务流程的实现等与业务需求密切相关的系统功能,它应对的是系统的领域逻辑,其处于数据访问层与表示层之间,以弱耦合的结构在数据交换中起着桥接作用,在整体架构中的关键性不可忽视;数据访问层和数据存储层的功能比较纯粹,前者主要负责对数据库的访问,后者主要功能是进行文件的存取。
2.数据库的设计
任何一个软件系统都离不开数据库的支持,云平台也不例外。系统在当前的状况下运行,对于数据的储存,数据库基本上可以满足用户的需求,但考虑到业务系统的不断更新以及数据量的快速增加,平台在未来一段时间里在性能和易扩展性上的要求也会与日俱增。为此,根据云教育资源共享平台的现状和未来的发展,需要采用合理的、适应发展的存储架构,对数据存储与处理、扩展性、访问接口、调度策略等做相应的优化与改善,从而加强对各种数据资源的存储维护等行为操作。
3.角色及流程设计
在基于云计算的教育资源共享平台中,主要有三种用户角色,分别是系统管理员用户、教师用户以及学生用户。
(1)系统管理员是该系统的主要角色,在该系统中,系统管理员需要管理教师以及学生用户,可以创建教师与学生用户,还可以上传下载教育资源,对教育资源进行审核或删除,并添加课程信息,录入题库,添加题目。
(2)教师业务流程。
在该系统中,教师用户由管理员用户创建,需要从管理员处获取登录账号及密码,教师可以上传和下载教育资源,可以添加课程信息,录入题库,添加题目,新增试卷,录入试卷,并且在学生测试后,对学生的测试进行阅卷评分,注销退出。
(3)学生业务流程。
在该系统中,学生是主要使用者,学生用户也由系统管理员创建,因此也需要从管理员处获取登录账号和密码,登录后,学生可以上传和下载教育资源,并且在线测试课程,测试后提交试卷,由教师阅卷评分后公布成绩,学生可以查看课程测试的成绩。
三、云计算服务类型及开发框架选择
1.云计算服务类型
随着云计算技术越来越成熟,云计算的服务领域也越来越广泛,在广大领域中云计算的服务类型主要有以下三种:
(1)基础设施即服务。
消费者从一些完善的基础设施中获得相应的服务,其主要面向硬件需求的客户,用户只需要提供需要计算的数据。
(2)平台即服务。
将云平台作为服务模式,本系统的云计算即是云平台服务,需要用户自己写服务器,然后将所写的服务器部署到云平台上即可。用户也可以自己写云平台,在这里为了方便,直接将服务器部署到开源的云平台上。而本系统所选择的云平台为新浪云。
(3)软件即服务。
软件即服务,从字面意思理解,即通过软件的形式提供服务,在这种云计算服务中,用户并不需要购买软件,只需要向拥有软件的商家租用即可,通过租用的基于Web的软件管理经营的活动。
2.主流云平台
当前主流的云平台主要有阿里云、新浪云等。其中可以使用新浪提供的云平台开发本系统。在新浪云注册账号,然后进入新浪云服务,创建应用,在代码管理中上传自己的项目war包,下载新浪云的架包,然后将代码的war包上传到新浪云,并启动新浪云上的MySQL服务,配置相应的JDBC连接。
3.开发框架
本系统可以选择SSH框架进行开发,SSH框架由Spring,Struts,HibernateM成,其中Spring可以说是一个管理层,用来管理Struts和Hibernate之间的工作,Spring框架是一个轻量级的框架,主要有IOC和AOP两大机制。Struts是一个基于MVC模型的整合框架,即Model层、View层、Control层。因此Struts是用来做应用层,负责调用service层。Hibernate是系统的持久层,也可以说是数据访问层,它对JDBC调用数据库作了轻量级的封装,省去了大量的SQL语句。SSH框架是当前比较主流的Java Web框架。
四、系统构建关键点分析
(1)数据库设计是系统构建的重要组成部分。教育资源共享平台从总体上来说是属于教学管理类系统平台,在设计时,可以使用SQL Server数据库系统进行数据的存储管理。先要对系统的各个功能要有明确的定义,在此基础上设计出功能表,创建数据库。另外,必须明确表的有效属性,在建表初期,难免会有无用的属性,需经过反复的测试,只保留必要的属性,减少数据库的规模。
(2)对于需求的理解程度是系统的重点,需要分析平台设计背后所反映出来的供求关系,对资源的广度和效度进行深度挖掘,在基本要求和功能之上,创造尽可能多的创新点,并努力提高平台的安全性和效率。
(3)在具体功能都能实现的基础上优化页面的设计。页面如何布局是考虑的重要问题,既要体现美观大方,又要减少代码冗杂。不能一味地寻找网上的模板,必须对页面布局有足够的了解,才能省时省力,事半功倍。因此,用好HTML 5语言和JSP页面开发技术尤为重要。
[关键词] 输变电工程;造价分析;智能平台;云计算
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2017. 01. 047
[中图分类号] TM72;TP311.52 [文献标识码] A [文章编号] 1673 - 0194(2017)01- 0083- 02
0 引 言
造价分析作为电网企业开展工程投资造价总结与评价研究的基础性研究工作,已经在电网企业深化开展十余年,造价分析的信息化管控能力已经得到了显著的提升,为支撑造价分析与数据挖掘提供了良好的平台。同时,造价分析具有数据样本庞大、数据层次架构清晰的显著特点,为智能分析方法与技术应用提供了良好的平台。因此,结合现代化智能计算技术与手段,深入开展基于云计算的输变电工程造价智能分析平台设计与研究,具有一定的应用价值。
1 云计算的基本内涵及应用分析
云计算应用平台一般由数据资源池、服务器及客户端组成,其中数据资源池为云计算的主要功能对象,服务器为云计算开展支持系统,客户端是指终端用户的输入、输出设备,包括计算机、笔记本、智能手机、平板电脑等,用户通过互联网将个人的硬件设备与云平台连接并获取服务,形成系统的数据处理中心与组织架构。
随着近年来输变电工程造价分析工作的开展,已经形成了较为完备的数据分析系统,包括工程结算分析系统、材料价格分析系统、概预算评审系统、工程造价分析系统等各功能模块,同时形成了具有针对性的应用模型及计算处理工具,为造价智能分析云计算平台设计与应用提供了较好的支撑。
2 造价智能分析云计算平台架构设计研究
结合云计算的功能与特点,分析输变电工程造价管控数据域与方法域,可系统集成形成造价智能分析云计算平台,例如包括:数据统一规范化处理,为不同口径数据资源提供标准应用格式;数据智能统计与集成分类处理,为原始工程数据及现有数据库归集形成有序数据分析平台提供支撑;智能数据挖掘与计量分析处理,为不同功能目标全方位、多层次算法支撑;多维度造价查询与展示平台处理,为造价对比分析、波动分析、偏差分析、预测分析等功能需求提供快速展示支撑。
云计算平台结合功能需求可实现灵活拓展与高效计算,在造价智能分析处理过程中具有较强的适用性与可靠性,依托大数据分析与处理技术,基于现代化计算机处理手段,实现软件计算与硬件支撑的融合。
输变电工程造价智能分析云计算平台整体系统架构主要依托于高效集成服务器进行数据域处理,依托客户客户端进行集成展示,提供全方位的数据收集、数据传输、数据处理、数据统计、数据挖掘、数据计算、数据集成等功能需求,提高数据应用的效率与价值挖掘。
3 造价智能分析云计算平台应用分析
输变电工程造价基于建设全过程包括工程估算、初设概算、施工图预算、工程结算、竣工决算等不同口径、不同形式的数据样本,造价智能分析云计算平台需要从以下几个方面进行重点建设及研究。
3.1 重视大样本工程数据统一规范标准制定
工程投资分析数据具有庞大的样本量,平台构建必须重视数据统一规范标准制定,为数据收集与集成统计提供良好基础,同时为数据对比分析与挖掘计算提供快速检索与定位查询功能支撑。
3.2 重视数据域的拓展与集成计算
造价智能分析不仅是工程自身投资数据的统计与计算,还包括社会经济及市场发展数据、设备材料价格数据、人工机械成本数据等其他外部参数变量的挖掘与利用,应构建具有较强层次化架构的数据域体系,体现云计算平台的集成性。
3.3 重视智能算法的创新应用与有效嵌入
数据作为计算平台功能实现的基础单元,更加需要智能计算方法与计算工具的集成应用,才能更好地实现造价偏差分析、造价预测分析、造价取费标准分析、造价控制分析功能模块,同时重视固化智能算法,实现平台与算法有效融合。
3.4 重视以功能需求为导向进行动态拓展
随着造价精益化管理要求的不断提升,云计算平台将会发挥更大的支撑与服务功能,多样化的需求将会不断呈现,因此,平台设计必须具备以功能需求为导向,可实现动态拓展,才能更大范围的满足平台应用价值的发挥。
4 结 语
输变电工程造价分析已经成为电网工程投资造价管控中的一项重要性、常态化实践与研究工作,智能分析技术与集成分析平台的设计应用能够为造价分析水平提升提供良好的支撑,因此,深化云计算技术在工程造价分析及管控中的拓展应用意义重大。必须重视数据域、方法域、功能域的有效集合,重视大数据集成应用与智能算法的创新应用,依托工程建设大样本平台,开展更加有效的支撑服务。
主要参考文献
[1]周亮,蔡钧,丁一波,等. 基于IFC的输变电工程三维数字化管理平台研究[J]. 电网与清洁能源,2015,31(11):7-12.
>> 基于系统动力学的产业技术创新联盟运行机制研究 基于系统动力学的绿色农业对生态系统的影响研究 基于五行学说的信息生态系统运行机制研究 系统动力学视角下新疆区域金融生态系统的仿真研究 生态系统退化的动力学描述模型 研究生英语课堂生态系统运行机制研究 产业集群品牌生态系统运作机制研究 高校“众创空间”创业生态系统内涵与运行机制 企业知识生态系统的稳态机制研究 商业生态系统的治理机制研究 基于生态学的创意产业生态系统基本架构研究 产业集群品牌生态系统的形成机制研究 产业集聚效应的系统动力学模型研究 基于系统动力学的煤矿物联网模型研究设计 基于系统动力学的跨国营销联盟稳定性机制研究 基于粒子群算法的产业技术创新生态系统运行稳定性组合评价研究 基于主体的云计算产业化系统动力学研究 基于系统动力学的库存控制研究 基于系统动力学的库存管理研究 战略性新兴产业创新生态系统风险控制机制研究 常见问题解答 当前所在位置:l,2013-5-4.
[9] 无锡市政府.无锡市人民政府办公室印发关于更大力度吸引物联网技术和产业高层次人才三年行动计划的通知[EB/OL]., 2013-5-4.
Study on the Operation Mechanism of Internet
of Things Industry Ecosystem Based on System Dynamics
GUO Jinfei REN Licheng ZHANG Yongyun
(School of Economic and Management Tai Yuan University of Science and Technology, Taiyuan 030024)
【关键词】数据挖掘,Hadoop
1引言
1.1 数据挖掘技术概述
数据挖掘出现于 20 世纪 80 年代后期,90 年代有了突飞猛进的发展,并在进入 21 世纪后继续繁荣。随着科技的不断进步,在物联网、云计算、移动互联网等发展的推动下,数据发生了“大爆炸”,其规模呈几何级上升。如何将这些海量的、复杂的数据转化成人类可理解的、有用的知识,从而指导我们的决策正成为目前面临的重要的问题。
如今,随着云计算的出现和发展,数据挖掘技术迎来了新的机遇和挑战。现在的基于云计算的并行数据挖掘与服务的模式。数据挖掘的算法可以分布在多个节点上,并且这些算法之间是并行的。在进行数据挖掘的过程中,我们需要的资源会实现按需分配,具有很大的伸缩性。在分布式计算模型下,使用的是云计算模式。算法的实现采用 MapReduce 的方式,从而实现并行的要求。
1.2 Hadoop 框架
Hadoop是一个开源的分布式系统基础架构,由 Apache 基金会开发。Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。
Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分割成许多小部分,而每个部分都能在集群中的任意节点上执行或重新执行。此外,Hadoop还提供了分布式文件系统,用以存储所有计算节点的数据,这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计,使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据。现在普遍认为整个Apache Hadoop平台包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有Apache Hive和Apache HBase等等。
2 Hadoop数据存储平台
2.1基本设计思想
我们的基本思想是:充分利用 Hadoop的集群特征,将数据挖掘系统中需要巨大计算能力的各个模块的计算和存储要求扩展到Hadoop集群中的各个节点上,利用集群的并行计算和存储能力来进行相关数据挖掘工作。系统采用MVC三层架构设计使结构更加清晰,系统易于扩展。在底层,使用 Hadoop来存储、分析和处理巨大的数据量,而在高层通过接口直接透明的调用底层的计算和存储能力。
在整个系统中,我们可以使用 HDFS 来存储文件和数据。HDFS 具有很高的数据吞吐量,并且很好的实现了容错机制。HDFS 提供了多种访问接口,包括 API以及各种操作命令。使用 HDFS,我们可以为原始的大数据集提供存储空间,对临时文件进行存储,为数据预处理、数据挖掘过程提供输入数据,同时输出数据我们也保存在 HDFS 中。系统整体架构如图1所示。
2.2系统结构模型
结合以上的基本设计思想以及典型的数据挖掘系统模型,采用分层的思想,自顶向下每层都透明的调用下层接口,最顶层为交互层,用于用户和系统之间的交互。最底层为分布式计算层,使用 HADOOP 来实现文件分布式存储和并行计算功能。使用分层,各层之间变得独立,易于系统的扩展。下面详细介绍我们得到的基于 HADOOP 的数据存储系统。如图2所示。
1、交互层
提供系统和用户之间的接口。通过提供具有良好表现形式的图形界面,使得用户可以登陆系统定制各种细粒度的业务,查看或者保存各种输出结果。
交互层具有的模块包括:
①用户管理模块:实现用户身份的识别以及相应权限的设置,同时也包括对用户登陆或者注销等常用的管理。
②业务展示模块:实现用户提交的各种业务,并对业务结果进行查看,分析和保存等功能。用来将系统的返回结果交付给用户。
2、业务应用层
提供了各种业务逻辑并实现了对各种业务流程的控制和调度。用户提交的业务在这一层被处理,控制和调度。
业务应用层具有的模块包括:
①用户界面:用户可以通过简单应用的操作界面工具,进行海量数据处理存储。
②业务响应模块:相应上层的业务模块,对完成业务所需的子业务进行调用、管理,并通过调用底层模块完成业务。
3、数据处理层
为业务应用层提供数据挖掘阶段业务流需要的各个模块,并且具有较细的粒度。如数据预处理,模式评估,数据挖掘等组件。这一层是整个系统的核心,在这一层,主要的任务在于实现各种任务过程中算法的并行化,并将任务提交到 Hadoop 分布计算层进行运算。并将结果返回给业务应用层。
数据处理层具有的模块包括:
①系统管理模块:对系统实现分布式管理。主要包括:负载平衡管理、系统日志管理、对象事务管理、系统远程部署管理等。
②数据加载模块:将挖掘所需的数据进行注册并放入系统的 HDFS 文件系统。
③数据存储模块:提供对海量数据的并行加载、处理和存储功能。将数据从其他外设中导入平台的HDFS;并行ETL 模块用来对HDFS中的原始数据进行处理得到存储数据;并行存储模块提供对处理后的数据进行存储.
④并行查询模块:提供对海量数据的并行查询、用户自定义事务处理等功能。
⑤备份恢复模块:提供对系统存储数据的备份管理、备份存储、备份恢复等功能,增强系统的安全
性和容错性。
⑥模式评估模块:Hadoop 框架自身提供了 HDFS,MapReduce 运行模式、运算环境以及自动管理。
4、分布式计算层
使用 HADOOP 框架来实现集群存储、计算。Hadoop 提供了分布式文件系统和并行的运行模式,同时实现了对分布式系统的管理。我们需要在此之上实现任务提交的 Server。
3总结
本文分析了对现阶段基于云计算平台实现的数据挖掘研究以及开源的集群框架Hadoop的研究现状作了分析。并在此基础上设计了基于Hadoop的数据存储系统的基本架构。采用以 Hadoop分布式平台作为基础,以 HDFS分布式文件系统和MapReduce 并行计算模型作为处理数据的方法。同时给出了系统的模型并简要介绍了各个功能模块。通过将数据挖掘技术与云计算时代下的集群框架 Hadoop结合起来,利用集群巨大的计算能力和存储能力,从而实现对超大规模数据挖掘的性能提升。
参考文献:
[1]维基百科 Apache Hadoop [EB/01] http:///wiki/Apache_Hadoop,2015
[2]Hadoop 技术 [EB/01] http:/// ,2010
[3]朱珠. 基于 Hadoop 的海量数据处理模型研究和应用[D].北京:北京邮电大学,2008.
[4]JeffreyDean, SanjayGhemawat. MapReduce: Symplified Data Processing on Large Clusters
[J].NewYork: ACM, 2008, 51(1):107~113.
[5]韩家炜, 坎伯. 数据挖掘概念与技术[M]. 北京:机械工业出版社,2008.
[6]Dean J,Ghemawat S.MapReduce:Simplifier date processing on large munications of the ACM ,2008,51(1):107-113
[7]B.Callaghan,B.Pawlowski,P. Staubach RFC 1813-NFS Version 3 Protocol Specification June 1995.
[8]Jeffrey Dean. Experiences with MapReduce, an abstraction for large-scale computation Proc.15th International Conference on Parallel Architectures and Compilation Techniques,2006:1.
[9]Yang Lai, Shi ZhongZhi. An Efficient Data Ming Framework on Hadoop using Java Persistence API. 2010 10th IEEE International Conference on Computer and Information Technology (CIT 2010).
[10]Bhandarkar, M. MapReduce programming with apache Hadoop. Parallel & Distributed Processing (IPDPS), 2010 IEEE International Symposium on, Atlanta, GA.
[关键词]云计算虚拟化安全策略
中图分类号:F426.6 文献标识码:A 文章编号:1009-914X(2015)05-0315-01
最近十多年来,随着互联网的高速发展,社会信息数据化不断加深,尤其是在移动互联网急速扩张的今天,产生的数据量在以惊人的速度在增长。一方面,庞大的数据需要庞大的计算能力来进行处理;另一方面零散的计算机节点大概只有不到30%的存储和计算资源被使用,70%实际上是被闲置的。原来以不断堆砌硬件设备的服务模式已经不能应对当前巨大的计算吞吐量,如何把众多的具有闲置计算资源的计算机节点组织起来,以一种新的形式去解决当前出现的问题,这成为学术界和产业界共同关注的问题。由此,云计算的概念应运而生。
一、云计算的概念
简单来讲,云计算(Cloud?Computing)是基于分布式计算(Distributed?Computing)、网格计算(Grid?Computing)、并行计算(Parallel?Computing)等发展的基础上,以网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等为关键技术的一种新型计算模型,它面对的是超大规模的分布式环境,核心是提供数据存储和网络服务。
二、云计算的基本架构
云计算的体系架构可以分为三层,从下到上依次是硬件平台层、云平台层和云服务层,其系统架构模型如图1所示。
硬件平台是包括是包括服务器、网络设备、存储设备等在内的所有硬件设施。它是云计算的数据中心,通过虚拟化技术来实现资源池化。
云平台提供服务开发工具和基础软件(如:数据库、分布式操作系统),从而帮助云服务的开发者开发服务。另外,它也是云服务的运行平台,所以,云平台要具有Java运行厍,Web2.0应用运行厍、各类中间件等等。
云服务就是指可以在互联网上使用一种标准接口来访问的一个或多个软件功能(比如:财务管理软件,客户关系管理软件,计算软件等)。
三、云计算的特点
1、超强的计算能力。云计算通过集群应用、网格技术、分布式处理等功能将网络中的计算设备调用起来协调工作,共同组成一个计算资源池,提供给用户前所未有的计算能力。据统计,Google云计算的服务器有上百万台服务器,IBM,Anlazon也有几十万台,大中型企业的私有云也有至少上百台,整合在一起的计算能力不容忽视。
2、硬件虚拟化。虚拟化是云计算最显著的特点。云计算把将计算资源连接起来,由软件自动管理,支持用户在任意位置使用各种终端获取应用服务,请求的资源来自“云”,应用也在“云”中运行,用户只需要一个终端,就可以通过网络服务实现所需要的一切,而不用关心资源究竟在哪里,整个过程是如何在哪里实现的。用户只需要将自己的需求提交给云,云返回用户所要的结果就可以了,用户只需用一个终端就可以随时获得想要的资源和服务,使用起来非常方便,而且对用户终端的要求不高,降低了用户的成本。
3、高可靠性。云计算使用了数据多副本容错、计算节点同构可互换等措施来保证服务的高可靠性。
4、高通用性。云计算不针对特定的应用,在云服务层上可以很方便的支撑不同的应用。
5、可扩展性高。云计算的规模可以根据实际情况进行动态的伸缩,满足不同用户和应用增长的需要。
6、按需购买。云中的计算资源可以按需购买,如同现在使用水电那种方便。
四、云计算的安全问题
云计算的优势是明显的,它的发展也非常迅速,但是仍然有人对云计算的前景担忧,主要出于对安全问题的忧虑。当我们把数据放在云上时,云是一个虚拟的环境,我们并不知道数据究竟在哪里,哪些人在使用云,又是哪些人在控制着云,应用环境和数据都脱离了用户可控范围,这些都是云计算的不安全因素。随着云计算应用的越来越广,用户越来越关注以下几种安全方面的问题:
1、云服务商的接人权限;2、数据存放位置;3、数据隔离;4、持久的服务。
五、云环境下安全对策的探讨
对于云计算服务提供商来说,务必在云环境提供以下安全策略:
1.云计算环境应该具有多个基本的安全域,每个安全域要有全局和局部主题映射;
2.位于不同安全域之间的操作必须相互鉴别,并且要提供完整单点登录认证、、协同认证、资源认证,在认证过程中的通信也必须通过SSL、VPN等安全方式来保证用户登录信息的安全。
3.建立可靠及时的备份容错服务,即使灾难发生,也可以保证数据的安全和完整性。
4.提供过滤器系统,目的在于监视并能自动阻止敏感数据离开了自己的网络。
5.建立严格的内部监管机制,防止人为从内部泄漏用户数据。
6.应该遵循相应应用的开放标准,尽量不采用私有标准。如果没有标准可以遵循,至少要提供数据导入导出框架以及数据转换机制,为用户的数据迁移提供必要的保障和方便。
而对于云计算服务使用的用户来说,应该注意以下几点:
1.用户可以对自己的数据先进行加密再上传到云端,PGP或者True?Crypt等机密软件都提供了足够强大的加密功能。
2.从安全性和完备性来考虑,都应该使用信誉良好的服务商,大型的云服务商不会拿自己的企业品牌来冒险,也不会窘迫到和营销商共享数据,同时在企业内部也有比较严格的规章制度来保证数据的安全。最好选择是本国注册且数据中心、总部或资产在本国的大型企业,这样可保证其能够尊重驻在国家法律并受驻在国法律的监管,长久提供稳定、安全、可靠的服务。在发生事故后,由于其总部或资产在驻在国境内,因此赔偿或追讨可以顺利进行。
3.尽量采用付费的模式,因为免费的午餐终究是没有保证的。
在电信领域,运营商依靠SDN/NFV等技术大幅降低了建设和运营的成本。如今,SDN/NFV已经从概念普及阶段逐步迈向商用部署,业界领先厂商携手电信运营商为产业提供了一系列典型实用案例,以云IDC和核心网为突破口,推进了SDN/NFV的快速成熟。
强化云网融合
当前,运营商网络复杂且刚性,网元的软件间处于一体化,网络和业务都采用垂直标准打造,在构架上可以看到众多类似于烟囱群的架构,结构单一,无法支撑业务的灵活创新。如今,业界主流的想法是,重新架构、重新设计、重新定义运营商的网络架构。
因此,中兴通讯以改变传统网络烟囱式的封闭建设方式为基础原则,创新了“云管融合”的弹性网络目标架构,以图在开放网络、简化网络管理、提升整网资源利用率、增强网络服务能力、支持商业模式创新和降低成本等方面有所作为。
具体到方案部署,中兴通讯云管融合弹性网络方案以控制集中化、功能虚拟化和网络自动化为切入点,重构面向未来的通信网络,通过融合SDN/NFV以及云计算等技术,改变传统网络烟囱式的封闭建设方式。
对于SDN/NFV的规划,中兴通讯战略规划部副部长尤琰此前表示,支撑云业务的网络虚拟化的路线需循序渐进,首先进行软硬件分离,实现网元虚拟化,然后进行底层资源池共享,实现网络功能虚拟化,进一步降低成本;其次从网元中抽取部分公共组件,逐步实现服务编排,最终实现全网全组件化,实现经营创新。
面向未来部署
云时代基于云重新构建基础网络,突破传统的垂直分割刚性网络体系和复杂繁多的封闭网元架构,SDN/NFV技术为电信网络重构提供了驱动力,重塑弹性开放的电信网络,给电信网络发展提供了丰富的想象空间。另外,除了垂直的“烟囱”架构过多,网络架构灵活性不足,也成为必须网络重构的决定性因素。
在目前高流量的大背景下,移动网络需要构建一个更加高效和简单的架构,利用SDN/NFV技术,通过统一的虚拟化软、硬件平台,使软件功能与硬件解耦,将实现硬件资源的高效利用、网络功能的快速灵活增强。以达到“降成本、提效率”的目的,网络将更加简单化,使资源可以在全网络间充分共享,实现业务的有效部署。
在网络架构变革方面,运营商目前的研究方向是让网络更简洁和更具灵活性。具体来说,网络的层级、种类、类型、数量、接口都要简化。同时,网络要更敏捷,比灵活更快,实现网络软件编程,资源快速配置扩展。目前,运营商网络能力大部分都没有开放,下一步,将实现更加开放的网络架构,发动社会的力量来完善网络。以调控网络架构灵活性为导向,积极寻找解决方案应对大流量时代下的网络重构。
就上述问题,华为基于在传统电信领域的积累以及在IT领域的实践,推出了CloudCore解决方案,方案采用云化软件架构,支持程序与数据分离,业务处理单元无呼叫状态数据,将业务状态存储在独立的分布式数据库中,使得业务处理单元可以任意弹性伸缩,根据业务等级增加或释放资源,并且伸缩过程中当前业务不会受损。
在谈到华为的下一步战略时,华为产品与解决方案首席技术官李三琦指出,通过SDN/NFV技术实现分布式云化网络的可部署可运营,将面临网络功能从虚拟化走向云化,从服务走向微服务化等诸多挑战,华为公司在构建面向分布式云化网络过程中,将积极实践和总结分享。
不仅如此,据了解,华为CloudCore解决方案架构完全开放,能支持各种通用硬件和云化操作系统,更重要的是,其具备与多厂商集成的能力。
华为的SDN/NFV解决方案具备了云化架构、电信级性能、自动化运维以及开放聚合能力等优势,可以真正满足运营商电信云的部署要求。从解决方案本身来看,华为SDN/NFV解决方案基于云化架构,采用多种加速技术,可实现网络高弹性、高可靠性。
以DC为中心
SDN/NFV技术为电信网络重构奠定了坚实的基础,另外,电信网还需要与数据中心结合重构基础设施,引入水平分层的网络层次,走向高效的智慧运营,向下一代的未来网络架构演进。
多年来,运营商的网络架构虽然经过多次整改,但其基本架构和形态并未做改变,而引入SDN/NFV将彻底改变现有的架构,因此运营商和厂商对SDN/NFV的态度变得非常微妙,谨慎选择适合的解决方案尤为关键。
中国电信集团科技委主任韦乐平表示,可以从相对封闭的数据中心作为切入点,探索SDN/NFV技术业务研发,解决云平台网络资源池的功能、性能、安全性、扩展性等核心问题。
数据中心通常是指在一个空间内实现信息的集中处理、储存、管理等。随着云计算的全面应用,云化的数据中心正全面超越和取代当前的数据中心形态,将实体资源转换后呈现出来,打破实体结构间不可切割的阻碍,使用户可以更好地应用这些资源。