大数据开发的过程范文

前言：我们精心挑选了数篇优质大数据开发的过程文章，供您阅读参考。期待这些文章能为您带来启发，助您在写作的道路上更上一层楼。

第1篇

关键词：大数据；软件工程；群体软件；关键技术

一、大数据时代软件服务工程与群体软件工程

所谓软件服务工程，就是将服务作为主要目标，在应用时需要根据变化不断通过虚拟的手段与分布式手段进行应用，而这种应用方法不仅能够使得软件更加虚拟化，同时也能强化其操作性，与此同时，更能有效解决动态变化与分布变化情况[1]。软件工程在发展过程中能够在大数据领域、云计算中得到更加广泛应用。在网络化、服务化等大环境影响下，软件工程可以得到更好的开放空间。工程师利用数据信息交互、学术交流等多种方式开展合作，对软件进行开发，建设更加具有性价比的软件系统。在软件开发中，目前十分成功的就是开源软件，开源软件的合作模式与结构都是当前学术界最看重的，然而当前常规研究方式却未能实现较大突破。很多学者开始尝试利用网络分析方法对数据进行有效分析，在一些规模较大的开发项目的开发人员中，外围开发者占据绝对优势，并且模块化特征更加明显。和群体软件工程相比，开源软件有较弱的发展态势，而群体软件工程主要是倡导利用众包形式进行开发。

二、大数据时代众包软件服务工程

（一）创新发展态势

众包软件服务工程作为国际各国都密切重视的一种流式数据处理与集密数据处理方式，特别是在服务中对产生的各项数据尤为重视，如何才能将这些密集型数据的存储设施、平台、价值分析等作为服务对象，是当前大数据软件工程在研究过程中的难点与重点部分。从最开始的服务消费，到后来的众包服务开方，随后再到软件平台管理，运营方都由在线流式数据和离线密集型数据组成。当前开发者版本级别达到GB级别，众多用户数据能够达到PB级别，在线沟通数据更是能达到TB级别，利用直接推送功能可以左右软件服务时间，对软件产生关键性作用与影响[2]。

（二）软件生产开发、运营与管理

密集型数据，因为他们本身固有的动态分布形式、动态交互、复杂演化、动态分配、价值隐藏等，都能够体现大数据的最原始行驶情况。从本质角度来看，这些数据仅仅是用于描述内容模量，但是没有具体含义，并且缺乏语义化作用。想要对其进行创新，必须打破原有的研究方法与思维，将密集数据作为主要材质课题，并且将其看作是研究的主体，在主体领域，大数据所在流域与主体专家需要制造，传播大量的数据。他们不仅是大数据的群体用户，还是最主要的消费者，同时也担任着运营和管理的作用，能够将群体智慧汇到一起，逐渐形成系统化的领域和主体知识。将这些知识作为核心与基础，对研究密集型数据相对应的信息学过程与生命周期进行研究，并且及时推送相应的服务期限，研究数据内容的相关语义和标志，最终赋予其相应的矢量。组织主体部分构建价值服务机制与知识体系，在研究和互通过程中，利用操作式管理方式将关键技术应用在密集型数据上，这些都能展示出众包软件工程发展内容。

三、大数据背景下关于信息处理技术发展情况

与传统数据形式相对比可知，在大数据时代下能够实现各项数据相互联系，并且这些相互关联的结构，能够利用当前所有的框架，对数据进行及时且有效的处理。将硬件作为基础，通过该基础搭建的网络存在相应局限性，并且制约了网络的性能和发展，因此需不断探索与创新网络架构技术，以此实现大数据技术的提高。在日后发展过程中，计算机网络必须为其提供开放式的结构与传输功能，将计算机网络信息处理与软件基础、硬件基础分开使用，随后对网络架构进行定义。相关网络软件使得我国网络技术朝着更高水平发展，随着大数据时代的不断深入，计算机能够实现网络、硬件、软件融为一体，并且产生出新的网络结构，能够为大数据时展提供重要理论与实践意义。这种形式不仅能够突破传统计算机在处理信息时因为网络所带来的限制，同时也能使计算机处理技术开发与应用形式打破单一情况，逐渐朝着多元化方向不断发展。

四、结语

综上所述，随着我国大数据时代的到来，社会各领域都将受到大数据思想和创新技术的影响。大数据对人们的生活方式产生深刻影响，因此将大数据作为当前一种最新兴的网络技术。

参考文献：

第2篇

关键词：大数据；软件工程；软件服务工程；第四范式

自上个世纪90年代初，信息高速公路在美国提出以来，历经近30年的发展演进，信息技术发展突飞猛进，信息化领域的新技术、新词语层出不穷，诸如IT技术、互联网技术、大数据技术、区块链技术、人工智能等。并且对人们的生产、生活方式产生了深刻的影响，认为现在进入了大数据时代、万物互联时代、智能化时代等。笔者认为，一直以来，其中除了硬件的发展，还有两个关键因素同样值得关注，一是数据，其是基础和目的；二是软件，其是方法和工具。唯如此，才能实现在软件生命周期即设计、开发、运行、优化，实现与大数据生命周期即获取、清洗、集成、分析、呈现等的互动。[1]换言之，现在来说，就是大数据和软件工程，二者助推了信息技术的发展，同时也是信息化的产物，在大数据时代背景下，研究软件工程技术的应用，对于经济社会的发展有着十分重要的意义。

1大数据和软件工程简述

1.1大数据简述

沃尔玛的“啤酒与尿布”是众所周知的大数据经典案例，大数据已经是当今信息社会炙手可热、耳熟能详的词汇，而且已形成共识，即人类已经进入大数据时代。上个世纪80年代初，《第三次浪潮》一书风行全世界。该书作者美国社会思想家阿尔文托夫勒就在文中将人类社会发展划分为三次浪潮，即以“农业文明”为主导的第一次浪潮，以“工业文明”为主导的第二次浪潮，以“信息化”为主导第三次浪潮。[2]其中首次提出了“大数据”（BigData）一词，并且，以“第三次浪潮的华彩乐章”这样的用词对其进行热情的讴歌。[3]全球著名咨询公司麦肯锡于2011年5月了《大数据：创新、竞争和生产力的下一个前沿》报告，公认此报告宣告了大数据时代的到来。由于大数据概念的提出源于不断的发展实践，其本身并没有严格、权威的定义。通常认为，大数据的大即大数据集的规模一般应达到10TB左右，现在已经达到了PB级的数据量。维基百科称“大数据”是这样一个术语，即其是用以描述用传统的数据处理应用软件无法完好处理的庞大的或者复杂的数据集。但“大数据”这一概念并不仅仅指数据规模的庞大，还包括对这些数据对象的处理以及应用活动。IBM提出大数据通常具有“5V”特征：Volume（数据体量大）、Variety（数据类别多样）、Velocity（处理速度快）、Veracity（数据真实性高）、Volume（数据价值高）。[4]大数据技术分类并分平行关系，而是呈纵向、层级状结构，详见图1所示。

1.2软件工程简述

软件工程本身并没有严格、权威的定义。并且，也是直到20世纪60年代初才出现了“软件”一词，于此之前，更多的是程序的概念，后来人们认识到与程序相关的文档也有着相当重要的作用，才有了“软件”一词的出现。软件发展至今天，已经远远不是程序个体或者程序员合作的方式能够完成的，即使能够完成，也会是效率低下、程序运行可靠性差，或者说根本就无法完成。于是，在1968年召开的大西洋公约学术会议上提出了软件工程的概念,简单理解，就是以工程的方法来进行软件系统设计、开发、运行、维护、优化等技术的总和，进一步言之，就是用“计算机科学、数学管理科学等原理，以工程化方法制作软件的工程”，属于一门交叉学科。[5]通常认为其包含有四个要素：（1）软件工程目标；（2）软件工程范型；（3）软件工程过程；（4）软件工程原则。

2大数据与软件工程的结合方式

宏观上讲，软件工程是比大数据更为宽泛的概念，大数据的技术与应用被软件工程所涵摄。如图1所示意，虽然大数据的各项技术与应用属于垂直领域，而软件工程牵涉的是横向领域，更加关注软件产品及软件系统工程上的实现及其管理。但是，大数据无论是其产品还是其系统的完成与落地，都离不开软件工程方法论的支持。换言之，软件工程的方法与技术贯穿于大数据的开发与应用，大数据也只是在软件工程发展过程中出现的概念。软件工程开发具有综合性，其应用渗透于各个学科和领域，大数据的技术与应用当然是软件工程所关注和研究的对象，或者说大数据技术的每一环节都离不开软件工程的支持。大数据应用的基础是要依赖数据链条的完整性，采用相应的算法于海量的数据中进行规律分析，算法要依据相应的实际环境进行相应的升级，遵循开发的基本原理，充分调整数据分布，从而在研究过程中将大数据技术与软件工程方法结合起来。并在开放的环境中通过网络与通信技术实现数据的共享，在此过程中，软件技术和水平亦能得到进一步的提高。在二者相互作用渗透的过程，软件效率得到提高，软件效益得以提升，从而实现客户需求的最大化。在软件开发过程中，还需要有必备的硬件和软件的支撑，来支持相应的数据流，随着数据流的增长，对于硬件和软件就会有更高的要求。工程技术人员在对数据流进行分析研究的同时，专家学者还会对在线服务进行研究。但是，数据流是重点，包括对数据流的使用方法的研究，对支撑数据流的软件和硬件的研究。另外，从软件工程开发角度看，无论是在服务端还是在用户端，软件的运行当然会产生大量的数据流，都将产生大量的数据信息，这些数据流对于软硬件的使用寿命有着决定性的影响。因此，在软件工程的开发中，对于海量数据产生的环境下，更有必要做好数据流的管理，要高度重视数据流的分析研究，并且对于原始数据进行深入的研究也应该引起重视，以期延长软件的使用周期。[6]

3大数据时代的软件服务工程

软件服务工程即所谓的面向服务的软件工程，强调的是其相对于传统软件工程的扩展。近些年来得到了很快的发展，已经成为当今时代的主流社会需求之一，服务功能已经是软件开发的基本原则。另一方面，也可以将其直观理解为“软件（Software）+服务（Service）+工程（Engineering）”三个方面的交叉融合，或者软件工程与服务工程两者的融合等。其内涵可以理解为研究面向服务的软件工程原则、软件工程方法以及软件工程技术，同时利用相应的软件服务设施和平台，开发较高水平的软件服务系统。[7]软件开发者根据需求变化，在社会实际实用中，以面向服务作为主要建设目标。在开发的初期就要首先搭建好软件的框架，充分利用编程语言、构思好编程思路，确保开发软件能够提供可靠的服务应用，保障软件运行时的稳定与可靠。在实际的服务过程中，要求开发者运用分布式应用程序，以虚拟操作的方式提供用户相应的服务。在应用中，融合大数据技术，能够实现对数据进行编程，达到软件互操作的效果，并提高对数据的主动协调。软件工程开发工程师可以对数据信息共享，实现各种学习交流，对软件进行协同开发，并结合用户的反馈，对软件系统进行优化处理，提高软件的性价比。近年来，开源软件是较为成功的软件习作模式，但是，其采用常规的研究方法，应用价值还不是很高。与开源软件相比，群体软件工程属于一种分布式软件开发模型，能够依靠网络进行任务分配，并能实现创造性的查询，通过众包形式的开发，解决开发过程中的难题。并且，在整个开发过程中，众包开发可以贯穿其全过程。所谓众包，一如其字面含义，是一种分布式的生产开发模式和问题解决方案。通过该种方式，开源软件和商业软件均可通过网络进行任务和责任分配。[8]随着我国计算机科学技术的不断发展进步，软件工程技术也取得了长足发展，软件服务工程也支持得到拓展和延伸。在大数据时代背景下，我们应当加快大数据技术和软件工程技术的融合与创新，提升对海量网络数据进行编程处理的能力，提高软件的安全和效能，增强其稳定性和可操作性，进一步整合软件工程系统的集成度。

4数据密集型科研第四范式

图灵奖获得者、关系数据库研究专家詹姆士格雷(JamesGray)曾经从科学哲学的层面将人类科学研究模式总结划分为最初的实验科学阶段，之后的理论科学阶段，到通过模拟的方法进行的计算科学三个阶段，相对应地称之为科学研究的第一范式、第二范式、第三范式。但是伴随着模拟连同实验所产生的海量的数据，需要由软件处理这些由各种仪器或者模拟实验产生的海量数据，并将处理得到的信息和知识存储于计算机中。之后，科研人员只需要对这些存储于计算机中的少量数据进行分析研究，不再是直接通过仪器或者模拟进行研究。因而基于数据密集型科学研究独特的技术以及其显著的不同于以往研究的特点，詹姆士格雷在2007于其科研报告中提出了将这种数据密集型的科学研究模式从计算机科学类型中单独区分出来的思想，随之产生了一种被称之为第四范式的新的科研模式。该报告整理后题名“吉姆格雷论e-Science:一种科研模式的变革”，成为微软于2009的年首次全面对数据密集型数据进行描述的论文集《e-Science：科学研究的第四种范式》的开篇文章。[9]当前，相当多的计算机领域的专家学者对数据密集型科研第四范式予以了关注，并进行了相应的研究，探索出了相应的方式方法，第四范式的研究被认为是大数据时代背景下软件工程技术研发的关键。信息化的发展与渗透，导致一切的事物都在随之发生着变化。包括实验、理论分析和计算科学均在数据泛滥的影响下与之前大不相同，软件工程技术既要适应科研第四范式，又在其中扮演着更加重要的作用。传统范式下的目的与探索之间不能够很好地衔接，数据信息的应用效率难以保障，难以满足项目管理目标的实现。数据密集型科研第四范式下的技术以及理论相关内容，与大数据技术特别是其中的存储技术有着紧密的关联性，其待探索的空间和应用价值相当广阔，其数据信息研发急需相应的理论支撑，该范式下的软件工程技术应用模块，亦能够对其他范式下的数据信息进行分析，对于更好地实现数据的存储与处理，提升处理效率，有着重要的研究价值。在第四范式模式下，对集成密集型数据的软件服务价值进行评估是首要的，需要摒弃以往的数据统计方法，构建新的针对大数据进行信息统计和分析的方法，这对软件工程技术的发展起着重要的作用。在软件工程技术的研究中，应当更新传统理念，重视其对大数据的处理和分析能力，使软件产业呈现全新的面貌，从而亦能促进其对大数据的数据分析能力。在第四范式的基础上，亦能够更好地支持第三范式，甚至于第一范式。该范式研究在我国软件工程开发中还处于初级阶段，软件工程开发人员需在强化已有数据模型研究基础上，加速由第三范式向第四范式的转变，尽快实现其应用层面的服务价值。

第3篇

1大数据技术和软件工程技术

大数据技术事实上是将人类日常生活中产生的各种数字信息，将这些信息收集起来之后分类处理，设定不同类别的存储空间，按照类别存储。大数据技术从功能的角度出发可以划分为多个类别，诸如分析技术、机器学习技术、遗传算法技术、自然语音处理技术等。应用大数据技术分析，就是基于当前的科学技术发展起来的一种分析技术。它主要依靠现代科技手段发挥技术的作用，特别网络技术发挥着基础性的作用。整理基础数据，对数据信息进行分类整理，应用相应的计算机算法，将相似特性的数据划分为一类，最终得到大量的数据，应用大数据技术对这些数据进行分析。大数据分析应用于互联网行业中，所发挥的优势是有目共睹的，而且还不断地引入新技术，在软件工程技术中应用，对该技术的发展起到了促进作用[1]。

大数据时代，社会各个领域都已经实现了信息化发展，人们对软件工程的概念越来越熟悉。事实上，软件工程的历史始于20世纪的中期，其研究重点是软件技术和工程管理。将相关工程内容引入其中，使得工程系统化运行，其中所涵盖的研究内容包括软件的生命周期、软件工程设计、软件的技术维护等方面。因此，在软件设计的过程中，要控制好技术开发成本，保证工程质量，使其生命周期不断延长，不同项目的技术需求和用户的各种技术需求都能够得到满足。

2大数据背景下的软件工程基础

处于大数据时代环境中，软件工程的发展中关乎到不同的领域，需要高度重视。大数据技术具有专业性的特点，还具有很强的实用性价值。在软件工程技术的研究中，要从应用需求出发不断创新软件技术，对于传统的技术要不断摒弃，对软件工程的发展创造良好的客观条件。大数据技术环境下，软件工程基础是基于互联网技术建立起来的，对各种数据信息系统化管理，根据需要进行处理，对工业的发展非常有利[2]。在软件工程技术中，大数据的安全性问题是需要高度重视的，否则，就会对软件工程技术造成不良影响，引起严重的后果。

2．1软件服务工程

在软件工程的研究范畴中，软件服务工程的数量不断增多。软件工程服务化方向发展，就是发挥服务的作用，使其成为软件开发的基本原则，按照服务项目内容为用户展开服务。由于软件工程发展的主题有所，服务内容也要做出相应的调整，同城是对软件工程的进行技术维护。在具体的服务工作中，需要软件开发人员使用分布式应用程序，在管理工作中采用虚拟操作的方法为用户2019.08提供服务[3]。软件工程技术应用中，结合使用大数据技术，可以对网络数据进行编程，使得软件具有互操作性，对于数据主动协调，使其符合动态场景的变化节奏，软件系统的集成度有所提高。

2．2软件开源

软件开源更为注重用户对软件技术的体验。在对软件开源进行研究的过程中，采用常规的方法，虽然获得一定的成果，但是应用价值不是很高。一些研究人员在研究软件工程技术的时候，就是将软件开源作为突破口，将开发项目划分为多个模块，将每个模块分给指定的研究人员进行开发。

2．3群体软件工程

群体软件工程是通过网络的方式进行软件开发，具体的实施中采用工程众包的形式，使得软件开发技术发挥作用。群体软件工程是一个分布式软件开发模型，这个工程项目的运行中，可以通过网络实现，对各项任务进行分配，也可以进行创造性的查询，通过众包解决软件开发过程中遇到的一些困难和重要问题。同时，在软件工程开发过程中，软件工程可以在任何阶段通过众包进行开发[4]。

3大数据与软件工程技术的未来发展方向

3．1大数据与软件工程技术开放式的发展

大数据技术的主要前提是大量的数据流，需要技术不断地升级和创新，寻求开发的研究途径是非常必要的。计算机网络的发展意味着计算机可以在开放的环境中相互通信，共享数据资源，软件等信息的有效利用能力也会有所提升。通过网络运行可以增加利润，使得用户的各种需求得到满足，提高资源的利用率。

3．2大数据与软件工程技术融合到其他领域

软件工程技术在当今许多科学领域有着广泛的应用。由于软件工程技术给予各个领域非常大的帮助，从航空到生活中都发挥着软件工程技术的作用[5]。应用程序的运行，可以使用数据平台对信息进行收集并分析。比如，用户在进行股票交易的过程中应用大数据技术，可以使用软件工程技术构建数据模型，通过对数据模型的分析，预测股票的变化趋势。

4众包软件服务工程中的大数据技术

在软件开发过程中，必须有足够的硬件和软件基础来支持数据流，随着数据流的量逐渐增多，对硬件和软件就有了新的要求。专家学者在分析数据流的时候，还对在线服务进行了研究。数据流是重点内容，主要是对数据流的使用方法进行研究，对支撑数据流的软件和硬件进行研究[6]。从软件工程开发的角度而言，软件运行中都会产生大量的数据流，包括服务端、用户端等，都会有很多的数据信息产生，这些数据流对软件和硬件的使用寿命起到了决定性的作用。软件工程的开发中，要做好数据流的管理工作。有必要对原始数据进行深入的研究，为提高软件的使用寿命创造条件，对数据流的分析要高度重视[7]。

5密集型数据科研第四范式

第四种科学研究范式是指根据实际情况建立独立的科学研究方法，探索第四种范式的理论基础，以及大型数据存储设备在发展中的重要性。软件工程中，采用传统的大数据研究方法，大数据的有效分析是不可能的，大数据的研究还没有取得突破性的成果。因此，目前大多数软件不能在短时间内同时实现数据信息的存储、数据信息的传输和有效识别。在探索第四范式理论和研究方法的过程中，首先需要对集成大数据的软件服务价值进行估计，抛弃传统的大数据统计方法，建立新的大数据信息统计方法和分析方法[8]。此外，有必要从多个方面研究大数据的处理，对大数据信息进行管理并深入分析，讨论大数据的价值以及存在的可变性，这对软件工程的发展起着重要的作用。在研究软件工程技术的时候，必须更新传统的软件开发理念，重视软件处理和分析大数据能力的发展，使得软件产业呈现出新的发展面貌。

在当今大数据时代，软件工程技术的研究已经区域复杂。随着数据的指数的不断增长，软件技术对硬件设备数据处理能力产生一定的影响。因此，在对软件工程技术的研究中，就需要对大数据技术的特点进行研究，基于此研究软件工程技术，使得硬件设备的数据处理能力有所提高。在研发开发软件技术的过程中，要从应用领域的需求出发对大数据技术进行分析，在大数据开发理论的基础上创新软件开发理论，促进软件技术更好地发展。

参考文献

第4篇

一、大数据的概念和发展

大数据指的是以多元化形式，根据众多来源搜集信息，并将其汇总成一个巨大的数据库。一般情况下，大数据具有实时特性，这些数据来源于社交网络、电子商务网站或者顾客的来访纪录等等，而这并不是企业公司与消费者关系管理数据库中的常态数据。在大数据库中，不仅蕴藏着数据生产者的喜好、目的、真实意图等非传统结构上的数据信息，有效处理这些数据信息对网络架构及数据处理能力也带来了更多挑战。同样，从酒店管理的未来发展走向来看，随着大数据时代的不断推进，酒店领域的大数据化也正处于发展阶段，这就需要酒店企业正视大数据时代的发展优势，紧紧抓住发展机遇，切实提高酒店管理工作的效率和质量。

二、大数据应用于酒店管理工作的现状

（一）对大数据的认识不全面

在不同时代，酒店行业的发展会遇到不同的机遇和挑战，伴随大数据时代的不断发展，酒店行业也得到了更为广泛的发展平台。所谓大数据，就是将客户的资料信息进行综合归纳和整理，以便作为酒店企业在进行布置布局的重要数据基础，从而促进酒店行业的快速发展。在采集客户数据的过程中，仍然存在很多纰漏和不足，而且由于很多企业对大数据的认识不够全面，导致数据库往往失去其原本作用，徒有形式而没有实际作用。

（二）应用程度较低

经过调查与分析，发现很多酒店在进行客户数据整理与利用方面都存在或多或少的缺陷，其中多数酒店仅仅将大数据应用于销售营业报表以及盈利预算方面，疏于对这些数据的进一步开发与分析，导致数据信息的浪费，没有真正发挥在酒店市场营运方面应有的作用。由此可见，在现代酒店管理工作中，很多酒店企业对大数据的应用程度极低，在很大程度上影响了酒店行业的后续发展。

（三）酒店基本服务设施不配套

对一个优秀的酒店企业而言，其服务质量和水平不仅体现在为客人提供的优质餐饮方面，更体现在酒店客房别具一格的设计上。然而，很多酒店企业的基本服务设施不配套，也影响了消费者对酒店服务的满意程度。因此，为了解决这一问题，各大酒店企业必须要充分考虑到消费者的隐私问题，采取智能门禁、智能取电开关、智能电脑网络等等先进设备，提升消费者的满意度。

三、酒店管理工作中大数据的具体应用

（一）应用标准化酒店管理，简化数据管理

在酒店管理工作中，为了保证其科学化与自动化，就必须要采取良性循环发展的管理模式，应用标准化酒店管理，简化客户信息数据管理。另外，酒店也要根据技术与市场的不断发展做出相应的调适，充分运用大数据，达到推动酒店行业快速发展的终极目的。

（二）确保大数据运用的安全性

目前，由于大数据技术系统仍然存在漏洞，在酒店管理服务工作中常发生客户信息泄露等问题，而这也严重威胁着酒店行业的经营与发展。因此，酒店大数据管理系统必须要及时更新，并通过设计具体管理部门，对客户信息加密，保证酒店信息的正常流动。由此可见，确保大数据运用的安全性，能够有效提升消费者的满意程度，从而增加酒店的收入。

（三）加强酒店信息系统的开发

面对大数据时代的发展与推动，酒店行业必须要积极应对挑战，及时加强对酒店信息系统的进一步开发，充分发挥在线旅游平台的优势，从而建立独立的数据收集与整理的平台，通过对信息的归纳与分析，帮助酒店企业更好地了解消费者的实际需求。

第5篇

关键词：大数据系统；软件工程；项目管理；高效管理方法；系统架构 文献标识码：A

中图分类号：TP393 文章编号：1009-2374（2016）34-0093-02 DOI：10.13535/ki.11-4406/n.2016.34.046

1 概述

随着互联网技术的快速发展，网络上产生海量大规模的数据，这些海量数据在金融、农业、医疗、商业等领域都有极其重要的应用。因此，通过对大数据研究从互联网的海量数据中挖掘出有价值的信息资源。虽然大数据有极其重要的研究价值，但是海量数据处理给软件设计带来了巨大挑战。大数据时代的到来，使传统的软件工程面临新的机遇与挑战。众所周知，传统的软件生产模式一般以正向工程开始，然后进行软件维护、逆向工程与再工程等，而大数据时代的软件生产模式则以逆向工程开始。由于软件资源的大量积累以及大规模软件重用技术的发展与应用，软件数据挖掘与软件集约化生产会变得越来越重要，传统意义下一切从头开始的软件项目会变得越来越少。

互联网的数据正以指数级速度增长，2010年，全球产生的数据超过1ZB；截至2015年，平均每年产生9ZB的数据；数据的产生主要来源于传感器、移动终端和电脑终端；所有这些数据在涉及人类基因组学、医疗保健、石油和天然气、搜索、监控、金融等诸多领域提供了大量潜在的研究价值。IDC认为能够使用大数据解决方案将蓬勃发展实时业务决策，而那些无法接受和利用这种转变的，在市场竞争中处于劣势，且将越来越多地发现自己面对潜在的故障组织。大数据技术描述新一代的技术和架构，通过对大数据进行科学组织、分析其中的数据价值。

大数据是涉及数据存储、可变复杂的大型数据及数据的进一步可视化处理过程；大数据架构需要具备同时处理数据存储要求和分析海量数据的大型服务器的处理能力。其中挖掘潜在模式和隐秘关系的过程称之为大数据分析。挖掘的潜在信息对公司来说能够帮助获得更丰富、更深刻的见解，并能够帮助公司在竞争中占有绝对的优势。这也是大数据的价值所在，更加精确地执行和分析数据中的潜在价值。本文将讨论大数据时代软件生产模式的变化、特征及其发展趋势。除新的概念外，还将重点介绍一些软件管理方法以及工业实践经验。我们正处于一个软件工业大变革的前夜。随着软件资源的大量积累与有效利用，软件生产的集约化与自动化程度都将迅速提高，软件生产质量与效率的大幅度改进将成为可能。

2 软件服务产生的大数据

互联网应用在各行业的广泛推广和使用，使得互联网应用服务产生海量的数据，主要包括流式密集数据和历史密集数据。比如，国内最大的电子商务阿里巴巴数据中心目前已经积累超过100PB的数据；中国移动通信公司目前建立包含办公自动化、企业标准化等超过1万业务流程。传统的软件工程中程序设计思想是“程序=数据结构+算法”，主要考虑程序的效率和正确性，忽视了程序中产生的数据，这将大大缩短程序的生命周期。在软件理论漫长的发展过程中，众多学者一致认为软件就是健壮的程序和详细的文档，其中核心部分就是完备的文档，包括需求文档、工程数据、通用规范等，整个软件设计过程更加关注文档质量和标准化开发模式。因此，在这一共同协议下，促使软件设计更加规范和标志，进而从整体上提升软件质量。

随着系统业务的扩容和用户的使用，要求软件能够处理大规模数据的能力。许多大型互联网企业越来越重视软件服务中流式数据和密集型数据，数据主要来源于用户体验。如图1所示，行业对数据的处理要求越来精细，技术很具有挑战性，其中如何将大数据基础设施作为服务、大数据平台作为服务、数据价值作为服务以及大数据分析作为服务，已经是大数据环境软件工程的研究主要难题。

从软件发展创新模式来分析，服务消费者、服务提供方及PaaS平台三方产生海量线上流式数据和离线密集型数据。比如，TB级的用户交流数据和PB级的用户行为操作数据、TB级的系统日志数据等，这些海量数据对软件开发、维护、管理有着至关重要的作用，同时这些数据对软件服务周期也有决定性的作用。本实质上来说，这些数据只是在规模和量上来衡量，对其的研究缺乏标识，尤其缺少语义化的处理。因此，对如此海量数据的处理，需要从不同的研究方式和创新思维对数据进行组织和处理，形成面向领域内的智能知识主体。以知识为中心，数据为驱动，提供一系列数据服务平台，从而体现出现代软件工程是以大数据为中心开展的。

3 大数据时代软件工程管理模式

根据大数据时代背景下，软件工程的发展从经典的CS模式发展到BS模式以及现在的以面向服务的软件工程，简称为软件服务工程。该设计模式中以服务为基础的单位，能够快速构建应用和共享服务，能够按需分配，同时也能很好地适应分布式程序开发。这种模式特点是将资源虚拟化、应用服务化，向外提供统一服务接口，能够很好地解决大数据环境下动态、分布变化的情况和异构系统数据以及系统整合问题。这种面向服务的软件设计模式在大数据、移动互联网等新兴领域得到广泛的使用。

项目管理是在一定的费用、品质及进度约束下，为达到客户和其他利益相关者的需求、目的和目标所要进行的大量活动的规划、监督和指导。项目管理有两个重要的研究领域：系统工程与项目控制。从图1中看出，两个领域有重叠部分，系统工程为重叠部分提供技术层面的输入，项目控制主要提供规划、费用及进度方面的输入。工程的管理主要是通过文档来体现的，其中主要包括系统文档树和系统工程管理计划（SEMP）。

系统文档树就是以一种树形结构化形式描述项目所需的，面向系统工程的一系列文档以及在自定向下的结构化形式中各个系统工程文件之间的相互关系。系统文档树是由系统工程师在提案阶段基于工作说明书（SOW）和合同数据需求清单（CDRL）准备，以便后续的成本和进度确定所需的文本化的任务。系统文档树由项目经理批准并在项目生命周期内维护更新。系统工程管理计划（SEMP）是描述项目在系统工程方面的任务与进度需求以及这些系统工程任务如何被管理与实现的文档。项目管理计划（SEMP）是由系统工程师基于工作说明书（SOW）和合同数据需求清单（CDRL）在提案过程中描述系统工程过程以及系统工程需求如何被计划、组织、集成、监测、控制和测量。SEMP应该由项目经理批准并在项目生命周期内维护更新。系统工程管理计划基于SOW及合同数据编制，包括三类关键要素：开发项目规划与控制、系统工程过程以及工程专业集成。

第一，开发项目规划与控制。开发项目规划与控制描述在管理开发项目中必须实现的系统工程任务，包括：SOW（工作说明书）；组织；进度计划；程序、设计和测试准备评审；技术性能测量；风险管理。

第二，软件系统工程过程。系统工程过程描述用于系统开发的系统工程过程，包括：运行需求；功能分析；系统分析与权衡策略；系统测试与评估策略。

第三，软件工程专业集成：工程专业集成描述多个专业工程领域如何被继承到主系统设计与开发中，包括：可靠性工程、可维护性工程、可用性（RMA）工程；可生产性工程；安全性工程；人因工程。

4 结语

互联网的快速发展使得软件的更新迭代更加频繁，大数据时代的到来更是对软件的性能和安全的重要考验。如何在大数据环境下，构建一个高效、安全、健壮的软件，除了需要技术的支持，更多地需要一套科学工程理论、技术标准、软件管理方法的融合。由于软件资源的大量积累以及大规模软件重用技术的发展与应用，软件数据挖掘与软件集约化生产会变得越来越重要，传统软件无法满足当前的需求，大数据环境下提出一般软件工程的管理模式对时下的软件工程开发是非常有帮

助的。

参考文献

[1] 王符伟.大数据时代下软件工程关键技术分析[J].电子技术与软件工程，2015，（23）.

[2] 朱怀英，展之桂.大数据应用的现状与展望[J].工业c，2016，（17）.

[3] 孟雪井，李宏飞，杨亚飞.大数据背景下统计软件在数据分析中的应用[J].现代经济信息，2016，（8）.

[4] 于兴文.基于大数据的创新型“归一”软件设计思路[J].科教导刊（旬刊），2015，（11）.

[5] 汪子阳.软件工程技术发展思索[J].电脑迷，2016，（1）.

第6篇

在大数据时代中，大数据的应用效能、应用方便度、应用当地覆盖面是未来大数据应用所关注的重点，而目前在大数据应用方面存在许多的问题，这些问题的存在影响了未来大数据的应用，如何解决这些问题，重现在开始从最基础方面开始，解决这些问题是大数据未来应用的重要工作。本文首先列举了目前大数据应用中存在的问题，分析了产生这些问题的原因，针对这种情况提出了基于基础数据结构体系建立的解决方案设想，为未来大数据应用发挥更大效益的解决方法。

【关键词】大数据 基础数据结构 软件工程 数据标准

随着智慧城市建设项目的开展，作为智慧城市建设的重要基础就是围绕大型基础数据平台的建设，在业界定义为大数据时代的来临。围绕大数据的概念，在全国范围内的各领域各行业都在大数据的如何组织、如何应用、如何共享、如何关联召开了各类研讨会。大数据应用的云计算技术、数据仓库技术等成为业内讨论的重要话题。本人认为，在做了这些工作后，应回过头来看一看，无论数据量有多大，都离不开基础数据结构与体系的建设，在此要阐明的一个基本观点就是在大数据时代更应该重视基础数据结果的研究与应用。

1 大数据的概念

什么是大数据， IBM 最早的定义是：将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，数据体量巨大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）；第二，数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。

在大数据概念中的第一条是数据量大，这是大数据的特点，而却随着信息系统应用的深入，数量的数量级也在不断的提高，这是毋容置疑的。我们在此要讨论的是第二条数据类型繁多的问题。

2 目前大数据应用存在的主要问题

随着信息化系统应用的深入，在社会、自然界、生活中所涉及的数据面越来越广，由此使得数据类型也越来越多，数据类型的数量在不断增加，这些数据类型之间的关系和相互关联性也越来越复杂，大数据量下的数据应用造成了困难。数据结构类型繁多造成问题主要表现在以下几个方面。

2.1 数据类型是有限量的认识不清楚

未来大数据情况下，数据类型是有限量的还是无限量的概念模糊，为此首先要么明确一个基本的概念，那就是，数据类型在繁多，但是数据类型的数量是有限量的，只是这个限量的数量级大一些而已。在数据类型是有限量的情况下，对于解决数据类型繁多的方法是完全不同的。

如果数据类型的量是无限量的，那么解决问题的方法是要研究解决数据类型问题的方式是研究规律，拿出解决问题的方式与方法，对于具体数据类型时，按照方式方法理论与技术去解决问题。如果数据类型是有限量的话，那么解决问题的方式就不只是从理论上的解决问题方法，而应该更加切合实际的去针对每一种数据类型直接进行研究，形成数据标准，指导各个系统对每一个具体数据类型的应用。

2.2 相同数据在不同系统中的表现类型繁多

由于系统开发方各自的开发经验、所开发系统的规模不同，系统应用方对系统要求不同，系统应用行业的不同，使得在开发过程中，对于数据类型的定义只遵循本系统使用需要进行定义，没有完整的标准，即是有相应的国家或国际标准，也不能完全遵循。

2.3 各个行业制定的标准相互矛盾

各个行业在制定相应的标准时，是以满足自身需要为主导，造成了数据类型在其数据定义时不但长度不同，就是数据类型都不相同。这也就造成了各个系统在未来大数据应用中出现了严重的数据应用障碍。

2.4 大数据应用的实现效率低

由于不同系统技术数据结构的不统一，使得对于大数据的应用上要对不同系统的数据结构进行分析，构建关联，而后才能进行数据的应用，这项工作的工作量大，技术含量高，降低数据的应用效率。这些都是事后分析数据存在的问题。

2.5 数据浪费巨大

由于数据各个系统间数据结构的不同，加上分析手段的局限性，使许多的数据无法进行使用，由此也降低了数据的使用率。并造成数据的大量浪费。

3 造成目前对大数据应用存在问题原因

由于以上几方面的问题存在，为了做好大数据的应用，许多相应的技术应运而生，数据仓库技术、网格技术、云计算的数据处理技术等等。这些技术促进了数据应用的发展，提高了数据应用效率，为大数据应用发挥了巨大作用。但是这种做法只能针对具体的大数据应用项目起到作用，不能从根本上解决问题。那么造成这种问题根本是什么呢？

3.1 理论基础有偏差

目前所有这些高精尖技术的发展，为大数据应用的发展起到了不可替代的作用，但是这些技术在理论出发点上存在偏差，那就是，这些技术的理论出发点设定的是，数据类型是无限量的，是无穷尽的，所以所有的技术研究都不面对具体的数据项，这样做的结果是促进技术的发展，弊端是不能面对具体的应用，所有的技术应用都要在这就技术下进行二次应用研究。也就是，这些理论是治标不治本的做法。

有限量数据类型与无限量数据类型是两个根本不同的概念，对于技术的发展影响也是完全不同的。为此，目前在无限量数据类型概念下的大数据应用技术与体系将会存在极大的局限性，对未来的大数据应用造成影响。

3.2 对大数据认识有偏差

目前在各个系统对大数据的应用中，对大数据的认识是，只要有足够量的数据，就是大数据，而对于数据之间的关系，整体的数据结构体系没有很深的认识，甚至将原有的多个分散的系统中的数据库，做一个小的关联数据库，就认为是数据云计算，就是综合数据平台了，而在这种情况下，对于大数据的应用，因为系统的独立，数据库的独立、数据结构的不统一造成了大数据应用的瓶颈和障碍，在系统应用到一定程度后，数据量是很大，但是无法进行大数据应用，或者说是要进行大数据的应用，需要另外投入很高的成本进行数据整理、数据管理和数据分析。所以应该明确的是，在数据结构混乱的情况下，在大的数据量也不能称为大数据，这个观念上的偏差，是造成目前数据应用困难的原因之一。

3.3 数据结构不规范

这些情况的出现，归结的一起，就是数据结构不规范，不统一。在三方面主要原因造成这个局面，一是目前的应用系统的开发，由不同的公司进行，每个开发单位对数据结构的定义有各自的标准，基本都是按照多年开发经验总结出来的，因此各个公司开发的系统在数据结构上相差很远。二是对于同一个公司不同时期开发的系统所涉及的数据结构不统一，到后期，开发单位不愿意在投入成本对前期开发的系统进行重新开发，这就造成了前期开的的系统中的数据结构与后期开发的数据结构不统一。三是对于应用开发单位在开发每一个具体应用项目时，由于是不同的开发小组在进行，为此，在进行数据结构设定时，只为了满足本系统开发的需要，而没有考虑系统未来的发展和系统的整体架构，这也造成了不同应用系统中对相同字段的设定不相同，数据结构不统一。以上这些都是在应用系统开发过程中遗留的问题，而这些问题严重影响了大数据的使用。

3.4 有统一的标准不用

在系统开发过程中涉及的数据结构，许多都有相应的标准，主要有以下几个方面，一是国家法律层面的，对于一些重要的数据要求以立法方式进行规范。二是国家标准，制定和规范了国家层面的有关方面的数据要求和限定。三是部颁标准，由各个部委办局制定的相应标准，这些标准有一大部分直接针对信息化系统建设的应用和数据标准。四是行业标准，作为每一个行业内进行行为约束的标准，这种标准虽然不具备强制性，但是在行业内是一个自觉遵守的标准。四是国际相关标准，虽然国际标准没有任何的法律约束性，但是为了走出去，各行各业都在遵循这个标准。

这些标准都是在系统建立时的数据结构依据，但是目前许多系统在进行数据结构设定时，都没有按照这些标准执行，而是根据自己系统的需要进行设定的。这使得许多的系统中的数据不能相互交换使用，由此而影响了大数据的应用。

3.5 不同行业对标准的设定不统一

在国家标准体系中，由于标准制定的年代不同，同是一个部门颁布的标准对相同的数据要求也不同，各个部门由于独立制定标准，同样出现相同数据在不同部门制定的标准中规定的不同，这几方面原因也就造成了即使遵照标准，也存在着相同数据在不同应用系统中的数据结构不同的现象。

以上是大数据应用问题出现的主要原因，作为大数据应用的刚刚起步阶段，应针对这些问题进行研究给出相应的解决方案，为未来大数据应用的发展打下一个良好的基础，避免今后的大数据应用走弯路。

4 解决大数据应用问题的对策

解决大数据应用存在的问题，应从最基础的数据结构建立开始，从根本上去解决问题，也为未来大数据应用的发展打下一个良好的基本数据结构基础，对此提出以下几方面的对策。

4.1 开展和加强对基础数据结构建立的理论研究

从软件工程学的角度出发，以数据结构类型是有限量的概念为依托，围绕具体的数据类型开展数据结构体系的理论研究。依托一个数据结构分类的理论体系来支撑整个数据结构体系的划分，其中包括划分方法、划分层次、划分的软件工程学理论支撑等内容，制定大数据底层数据结构划分的理论体系，形成在大数据下的数据结构构建的理论体系。

4.2 开展对具体数据结构的研究

按照建立的数据结构理论体系要求，对每一个具体数据结构进行研究，针对数据项的名称、类型、含义、层次、结构、与其他数据的关系、涉及内容规定等方面制定出具体数据的标准。这项工作可以在有组织的情况下由全社会共同参与，按照指导理论的要求进行研究，这样，随着应用系统的不断深入，所涉及的数据类型项将逐步扩展，最终实现数据的全覆盖，而完成整个架构体系的建立。

4.3 制定相应的数据结构标准

对于由各个方面制定的数据结构进行分类、筛选、审核，而后想这些结构形成一个统一的架构体系，制定相应的技术标准，通过这个标准来规范应用系统的开发，形成完整的、规范的、统一的数据结构体系，为大数据应用打下坚实的基础。

4.4 成立相应的机构来负责这项工作的完成

对于这项工作的开展，应在软件工程相应的有关组织下，建立一个专门的机构，负责指导这项工作的完成。由这个机构成立专门的实验室，负责整体架构的制定，数据类型项的搜集、分类、筛选，并形成统一的数据库体系，为所有的应用系统的开发提供数据库基础支撑和服务。

综上所述，通过对基础数结构的研究与体系的建立，从根本上解决大数据应用的效率，充分发挥未来大数据的作用，简化大数据应用的方式与过程。

参考文献

[1]严霄凤，张德馨.大数据研究[J].计算机技术与发展，2013（04）.

[2]李学龙，龚海刚.大数据系统综述[J].中国科学：信息科学，2015（01）.

[3]方璐.大数据时代的科学研究方法[J].浙江工业大学，2014.

作者简介

李铧（1962-），男，江苏省无锡市人。学士学位，现为无锡科技职业学院教师、高级工程师。主要研究方向为软件工程学、物联网概论。

第7篇

一、大数据环境的基本特征分析

大数据主要是运用计算机应用技术和现代信息处理技术等对数据信息在极短时间内进行收集、获取、处理和管理的过程。大数据的产生和发展主要可以分为三个阶段，一种是系统运营阶段，一种是用户自创阶段、一种是系统感知阶段。在新的发展阶段下，数据资源的庞大性、多元性、生成的快速性、价值大等特征成为当前大数据时代下数据资源的主要特点。特别是与前两个阶段相较而言，大数据的处理单位甚至可以超过了GB和TB，当前大数据的处理单位可以以PB来计量，且数据库本身不再是简单的数据的整合和对比，而是形成了结构式的数据资源库，或者板结构式的数据资源库，这种数据资源库的可利用范围更广，利用重复率更高。另外，大数据的数据处理作为一种辅助方式，可以为实施其他管理措施奠定基础，从而更好的提升数据库的利用价值，促进数据资源应用范围的拓展。

二、大数据背景下医院档案信息资源发展的状况分析

（一）档案信息资源总量激增，信息种类繁多

医院档案信息资源的总量不断增加且种类也更加多元化。医院内部的仪器设备等大多需要形成影像资料，如CT、DSA、CR、MRI、DR等技术得到广泛的适用，大量的影像资料需要转化为信息资源，且影像资料本身所占据的内存较大，医院每年的新增影像资料可以达到20TB。同时医院的住院病历也逐渐开始转化信息数据的形式，且依据卫生部的要求，医院的住院病历要保存至30年以上，门诊病历的保存时间也不能少于15年，大量的病历档案如果转化为信息数据的话，那么医院每年新增的数据资源就要达到近百TB。另外从信息资源的种类来看，病历、设备档案、人事管理档案、行政文书档案、医院基建档案等档案都需要进行严格的管理和控制，且这些档案中的档案结构各异，大量的档案数据需要依赖于医院的管理流程进行不断完善和更新。

（二）信息资源流动性强，信息利用程度较低

医院每天会有大量的病人就诊，因而医院档案资源往往流动性较强，多种数据资源要在医院医疗事务管理过程中快速的形成并不断的更新。但是当前医院的档案信息数据资源利用的程度却并不像想象中的那样有效，许多医院往往仅仅从数据的收集和录入入手，进行数据化管理的理由多是要对数据进行保存，但是档案信息资源应当成为医院管理事务的基础，对数据进行分析和处理才能真正发挥数据资源的价值。同时医院档案信息资源的数据化管理尚处于分体管理的模式中，数据资源的整合统一协调管理程度较低。

三、大数据背景下医院档案信息资源利用发展的意义分析

在大数据背景下推进医院档案信息资源的利用与发展能够有效的打破医院档案信息资源之间的部门限制，能够有效的形成开放性的数据管理系统，通过档案信息资源的数据化操作与处理为不同部门提供查询、使用、整合、共享的基础，从而更好的保证医院档案信息资源价值的发挥。另外，在我国医院卫生体制改革的环境下，要实现医院的现代化和信息化管理，就需要立足于大数据处理基础，健全城乡医疗卫生网络化服务机制，运用信息化管理手段推动医院资源的优化流动，在不同的医疗机构之间形成患者病历交流共享的制度，为医师开展多点执业奠定基础。

四、大数据背景下医院档案信息资源利用发展的挑战分析

（一）数据收集难度大，信息存储扩容压力大

大数据具有规模大、数据类型多的特征，在这样的大数据环境下，要开展数据的收集录入工作往往需要耗费大量的人力和物力，同时还需要对数据进行分类管理分析，还需要对多元化的数据进行真伪鉴别，保证数据的真实性和准确性，要通过多样化的信息管理方式实现数据收集的有效性。而要对这些数据进行存储也需要占用大量的数据空间，医院的数据存储系统和存储安全保障问题限制着医院数据存储工作的安全性和可靠性。

（二）信息样本繁多，信息数据呈现形式多

医院档案信息资源的来源较为多样复杂，信息数据的表现形式十分多样，大量的信息样本无法用传统的信息管理方式进行描述，因而在开展数据处理工作时需要对数据的形式进行转化和协调，但是当前针对数据的智能化管理尚且只能在较小规模内实施，数据的深层次挖掘和多元化分析技术尚未形成。

五、大数据背景下医院档案信息资源利用的具体策略分析

（一）强化档案信息资源利用，开发大数据分析技术及产品

大数据背景下医院档案信息资源的开发和利用工作必须受到重视，这不仅是由于大数据技术的运用可能性，其同时也是开展医疗卫生体制改革的要求。提升医疗服务水平，重视档案管理工作是医院开展管理工作需要树立的基本意识，运用档案信息资源的智能化管理提升档案管理的有效性、便捷性和可靠性，从而更好的促进医院部门之间的信息共享，实现医院服务水平的高效提升。在重视档案信息资源利用的基础上，医院还需要开发和引进大数据分析技术及产品，以技术作为依托，提高数据收集、存储、处理的水平，引进现代化的设备保证信息资源利用的数据化、智能化发展。

（二）健全数据利用法律规范，培养创新型管理人才

要推进医院档案信息资源管理的智能化发展，国家和政府也需要从制度和法律规范方面入手为医院开展大数据技术利用提供法律支撑。大数据背景下，数据资源的管理既要服务于大众又要保护人们的个人隐私权，要防止数据的恶意转让，明确数据的挖掘、利用的范围，规范数据使用的权限，为数据资源的公开透明化管理提供制度上和法律上的支撑，维护公民的信息安全。同时还要为医院档案信息资源的利用发展提供人才支撑，医院要重视专业人才的培训和管理工作，提升临床医生的技术化应用水平，规范信息资源的呈现形式，培养档案信息资源管理的专业化技术人才，强化档案数据资源的深层次加工，提升档案利用效率。

结束语：

第8篇

随着市场经济的不断发展，政府职能发生改变，为了确保政府的纯洁性，需要政府加大审计监督力度，对财务收入、支出，以及相关资料信息的合法性、合规性等进行重点审查。随着科学技术的发展，大数据应运而生，通过对数据信息进行搜集和整理，为各行业提供数据支持，在对数据信息进行二次开发的过程中，进一步创造更大的经济效益和社会效益。当前，社会已经进入大数据时代，基于此，国家审计机关需要紧紧抓住大数据的发展机遇，在政府审计中融入大数据，充分利用大数据优势组织开展审计工作。

大数据环境下政府审计存在的问题

缺乏完善的大数据信息平台

随着科学技术的发展，社会已经进入大数据时代，在这种环境下，组织开展政府审计工作，需要依赖大数据，全国各地都在积极建设大数据信息平台，但是受自身财力、技术等因素的影响，在大数据信息平台建设方面存在不平衡问题。个别地区甚至还未建立大数据信息系统，进而在一定程度上使得审计数据依然分布在部门、个人手中。

缺乏大数据应用人才。对于政府审计人员来说，在信息化时代，一方面需要精通审计知识。另一方面需要熟悉计算机领域的一些知识。但是，从实际情况来看，在审计队伍中，具备储存、分析大数据能力的人才非常少。在业务人才培养方面，尽管政府审计机关做出了巨大的努力，但是由于利用信息化组织开展政府审计工作处于起步阶段，并且培养具有中级职称的计算机审计人才需要一个过程。

审计模式与大数据审计不适应。受计划经济体制的影响和制约，审计机关在组织开展审计工作时，一般由相关科室根据审计类别开展相应的审计工作，在小数据环境下，这种审计方式有着自身的合理性。但是，进入大数据时代，在面对大型复杂的审计项目时，对于政府审计机关来说，由于数据规模大，程序复杂，在这种情况下，各科室之间需要互相配合，通过优化配置资源，进一步提高审计效率。

数据规模小。在我国，受计划经济体制的影响，政府审计数据信息一直没有得到到很好的整合，在这种情况下，进一步影响了数据规模，导致数据规模普遍偏小，主要表现为，一方面政府审计缺乏规范的运行机制，各部门之间各自为政，各自存储本部门的数据信息，同时数据传输局限于部门内部，数据信息很难在部门之间进行交流，进而在一定程度上导致政府审计机关很难对各部门的数据进行整合，制约了审计业务的正常进行。另一方面在数据存储软件方面，由于各审计机构之间存在差异性，并且各存储软件之间不能兼容，导致数据信息无法进行有效的采集，使得数据信息只能储存在相应的单位，进而难以形成大规模的数据库。

大数据视角下政府开展审计的具体措施

随着经济的不断发展，大数据成为时代的热点，对于政府审计机关来说，需要利用大数据开展审计工作。

搭建政府审计大数据信息平台。随着信息技术不断发展，云技术趋于成熟，基于此，可以依托云技术搭建政府审计大数据信息平台，按照统一的标准，连接审计机关、被审计对象的数据库，对数据信息进行实时采集，进一步储存、共享数据信息。积极开发大数据技术，对现有的数据信息分析软件进行充分利用，对于审计人员来说，通过建立公用数据分析系统，对数据信息进行共享和共用，在一定程度上打破审计系统审计数据不能共享的局限性，进而推动审计工作的顺利进行。在组织开展政府审计工作的过程中，审计机关需要与财税、金融等部门加强合作，对有关数据信息进行共享。因此，建立一种政府引导，审计机关等各部门相互配合的审计模式，搭建政府审计云平台，各部门之间真正共享审计数据信息。

培养基于大数据的政府审计人员。在大数据环境下，为了做好政府审计工作，需要培养基于大数据的政府审计人员，首先，对政府审计人员加大教育培训力度，帮助政府审计人员掌握计算机领域的知识，尤其是涉及审计与大数据交叉的知识；其次，在审计数据采集、整理、分析等方面，帮助政府审计人员提升综合能力，特别结合审计情况，建立数学模型对审计数据进行分析；最后，对被审计对象信息系统内控情况进行客观公正的评价，结合存在的具体问题，为被审计单位管理层提出切实可行的方案。

各部门之间加强合作。从某种意义上说，大数据时代更加侧重合作，基于此，政府审计机关在组织开展审计工作时，与有关部门加强合作，从全局的角度进行统筹分析，例如，在审计社保基金的过程中，涉及的单位包括人社局、财政局、税务局等部门，面对多部门、大规模的审计工作，审计机关凭借自身的力量很难完成审计工作，在这种情况下，审计机关需要树立全局意识，加强与有关部门之间的合作，共同搜集、整理审计证据。因此，在大数据环境下，政府审计机关在组织开展审计工作时，一方面对财务报表的真实性、可靠性进行审计，另一方面要正确认识政府审计工作的重要性，借助大数据，对各部门的数据信息进行整合，加强合作。

第9篇

（中国75150部队军务科，湖南衡阳421131）

【摘要】大数据时代已经到来，在此时代背景下，各行各业都面临着对庞大而复杂的数据进行有效管理的巨大挑战，越来越认识到对自身产生和拥有的大数据进行有效管理的重要性和迫切性，档案管理工作也不例外。

关键词 大数据时代；档案管理工作；功能作用

军队档案管理是以保存部队档案并提供档案资料为其他各项工作的一项重要工作，其直接面对着对元数据的收集、整理、鉴定、保管、检索、利用等任务。然而面对当今各类信息、数据的大爆炸，传统档案管理的方式方法已明显感觉有些吃力。为了较好的利用这庞大的数据为我部队建设所用，我们引进当前时代的一个新名词——大数据，用新的理念、方法和手段不断改进、革新档案管理工作。

1大数据对档案管理工作的影响

哈佛大学社会学教授加里金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程”。大数据技术能实现所有数据的融合，减弱了对“因果关系”的要求，取而代之的是数据间的相关关系，给人们的生活、工作乃至思维都产生了巨大变革。可见，大数据时代的到来，对整个世界都已经产生了巨大影响，具体到军队档案管理领域，大数据的功能作用以及其对档案管理工作的影响则主要表现在以下几点：

一是分析判断能力强，方便了电子文件的鉴定和索引。大数据时代，电子文件以指数级的速度增长，给电子文件的管理带来了前所未有的挑战，虽然我们知道浩瀚的电子文件中蕴藏着巨大的“金矿”，但我们逐渐发现想要从这些电子文件中“淘金”比纸质文件还困难。面对着巨量的电子文件，逐一阅读每一份电子文件的原文恐怕实在是无能为力。而大数据技术的强大功能作用为上述问题的解决提供了有效的帮助。在普通的硬件上安装大数据转发器，就能收集数据形成的庞大的系统数据，大数据软件可以为机器生成的海量数据建立索引，将其整理成可以搜索的链接，这正是档案工作迫切需要的技术。除此之外大数据技术还能完成数据的分类、数据的挖掘，从而使档案管理拥有应对越来越复杂的数据的分析能力。

二是处理技术手段高，解决了非结构化数据的处理难题。大数据类型繁多，包括结构化数据、半结构化数据和非结构化数据，至2012年末，非结构化数据占有比例达到整个数据量的75%以上。面对着快速增长的非结构化文件，档案工作者在进行电子文件管理时困难重重，现在基于大数据技术的数据库，如SQL已经既可以做关系数据，也可以做空间数据、图像、数据流等非结构化数据，而且基于对象的存储架构可以在一个系统中管理十亿级别的文件数量，还不会像传统存储一样遭遇元数据管理的困扰，大数据技术为档案工作者管理非结构化电子文件的问题提供了解决之道。

三是数据存储容量大，避免了海量信息和数据的丢失。近年以来，在档案数据库的使用过程中，常常会碰到无法向数据库中增加新的档案数据的情况。要想安全地存储巨量的档案数据，不可能一味的盖大楼、盖机房，这就要求我们必须优化存储、提高效率和节约成本，其实比起其他诸如电信行业、通信行业、电子商务等行业面临的数据存储空间问题，其实档案行业的存储空间问题只是小巫见大巫，大数据在计算机领域已经具有相当的成熟度，这也说明大数据技术对于解决存储海量数据问题的有用性，这些公司使用大数据的经验对档案行业解决数据的存储问题具有高度的借鉴意义。

2档案管理运用大数据的策略

既然大数据时代已经到来，而且其功能作用对部队档案管理工作有着较为深远的影响，运用得当，大数据将给我军档案管理工作带来前所未有的成功，那么如何将大数据的理念较好地运用到档案管理工作中来呢？

2.1建立档案资源管理中心

大数据技术支持庞大数据的存储和处理，使档案资源的统一管理成为可能。为了维护档案的安全及对档案资源的综合掌控，档案需要备份，目前档案馆采用的是档案的电子备份，档案部门是否可以在全军范围内建立一个区域或者档案备份中心，并且各部队档案部门能够做到资源共享呢？只要通过严密验证和科学规划，这一措施是完全可行的。若全军的档案数据资源能集中起来，那么利用大数据进行档案资源的管理、开发和利用将指日可待。

2.2培养大数据分析的专业人才

外界企业通过寻求和专门的大数据开发公司合作，较好的运用了大数据技术。而档案管理牵扯到部队保密工作，若想引入大数据，又要有效防止信息数据的泄露，就必须加紧健全信息化档案管理人才队伍，花大力气培养大数据分析的部队专业技术人才，方能有效避免拥有大量数据却不懂数据分析的尴尬。

2.3开发大数据分析工具

部队档案管理区别于地方，存在特殊性和敏感性。这就要求我们必须结合部队实际及档案建设的特点，开发出一套符合我们自己的大数据分析工具。

3档案管理运用大数据应注意的事项

尽管大数据能给档案管理工作带来诸多好处，但是这也不能掩盖大数据背后存在的风险和隐患。一是失泄密问题。档案信息资源的开发和利用会涉及到档案信息的泄密、档案信息的丢失和篡改等问题，如果这些数据信息被敌特分子窃取，将给我们国家安全造成强烈的影响。二是预测分析错误问题。毕竟，大数据的核心思想就是用规模剧增来改变现状，其打破我们传统思维模式，将重点关注在“相关关系”上，所有预测分析都会有失误的时候，运用大数据预测来判断和惩罚官兵的潜在行为，这是对公平公正以及自由意志的一种亵渎，同时也轻视了决策过程中深思熟虑的重要性。三是滥用职权的工具。如果我们冒险把部队事故案件的防范交到数据手中，这实际上是一种滥用。应用得当，大数据会是我们合理决策过程中的有力武器；倘若运用不当，它就可能会变成部分人员滥用职权的工具，轻则伤害官兵的利益，重则损害官兵的人身安全，所冒的风险比想象中要大很多。

大数据时代的来临，对档案管理工作来说既是机遇也是挑战，档案工作者需要努力抓住这个机遇，同时也要严肃对待风险与挑战，随着大数据技术的发展和完善，大数据必有广阔的应用前景，档案管理在大数据时代将获得巨大的突破，档案信息资源中蕴藏着的巨大知识宝藏将会真正得以开发和利用。

参考文献

第10篇

关键词：大数据；VIS辅助设计模块；VIS辅助分析模块；VIS辅助提升模块

引言

我国目前正大力推动“互联网+”行动计划、移动互联网、云计算、大数据、物联网等新兴技术和新兴产业的发展。随着互联网的进一步普及，大数据已经真真正正的影响到了我们的生活。在大数据技术的背景下，很多分析处理的方法正悄然发生着变化，品牌视觉识别系统VIS的设计开发也面临同样的机遇与挑战。而品牌作为企业商业形态及服务形态的主要表征，在当前制造产业大升级，摒弃低端代加工，提升产品附加值的大背景下，其价值正日益凸显。

1 品牌VIS视觉识别系统的重要性

一个知名的品牌在相同条件下，可以帮助企业获得数倍的收益。当然，打造一个企业或产品的知名品牌是系统性工程，涉及到的内容很多。而品牌VIS视觉识别系统能帮助企业建立系统化的品牌视觉体验，将企业和产品的信息真实的、简约的和有意义的从视觉感受传递给市场与消费者，知名品牌的VIS是一种精神象征与价值理念，是企业品质优异的视觉体现，也是品牌有别于竞争对手，展示独特内含的无形资产。所以设计开发一套优质的品牌VIS系统的重要性是不言而喻，品牌VIS对的产品销售、定价等有着非常大的影响。

2 基于大数据技术VIS设计分析

传统的品牌VIS设计有天生缺陷。其一，品牌VIS设计方案有较大的设计师主观意识在内；其二，由于企业品牌推广是长期的、缓慢的过程，在此过程中对品牌VIS结果的反馈也会有较大的延迟，导致设计团队无法在第一时间给予提升支持。而国内较普通的现象是除了前期完成品牌VIS设计后，基本没有后期的品牌VIS分析与提升。目前著名的际调研机构新力公司就启用大数据分析技术，结合消费者U&A行为，开发出品牌针对性人群结构研究模型，让客户的品牌VIS更有针对性的来改进升级。

而将大数据技术引入到品牌VIS系统的设计开发中是必然趋势。因为大数据的结果能有效客观的指导品牌VIS设计，让开发团队准确的设计出针对性较强的品牌VIS，并对品牌VIS进行量化评测。而在后期品牌推广中依托大数据对VIS多项指标进行跟踪监测，通过多种量化的关系分析，快速得出针对性较强的修改方案并马上加以改进提升。

2.1 品牌VIS辅助设计模块

借助辅助设计子系统， 为品牌VIS设计提供全过程的信息支持和技术保证， 实现设计的数字化、信息化，提高设计效率。利用大数据建立的设计原则和设计方案资源库的指导下明确设计任务、形成设计方案。

2.2 品牌VIS辅助分析模块

针对企业特定需求，依托大数据建立市场信息资源库，提供目标市场与人群的各类信息数据模型。包括受众个体信息、群体信息、市场趋势信息等，为品牌VIS提供设计依据，辅助设计者分析已知品牌VIS相关数据。

2.3 品牌VIS辅助提升模块

依托前一分析模块所得的数据，从中抽取有价值资讯，结合大数据技术自主决策算法，对品牌VIS完成进入市场后，收集到的市场、消费者、媒体、营销者的各类信息，从目标、定位、视觉效果等方面进行综合评价，作出相应的修改或保持结论。如果确定有修改或再设计的必要，信息综合评价子系统将会把提供的信息作为修改或再设计的依据反馈给设计团队与客户。

此套基于大数据技术的品牌VIS设计、分析与提升系统，针对品牌VIS系统而设计，所以其研发方案也需围绕在VIS设计、分析和提升三个重点上分别展开。

（1）品牌VIS辅助设计模块的研究（如图2）

（2）品牌VIS辅助分析模块的研究（如图3）

（3）品牌VIS辅助提升模块的研究（如图4）

3 结束语

系统最终的技术实现路线：品牌VIS设计方案的提出（客户的基本信息与要求）――基于大数据的市场定位――基于资源库的品牌VIS辅助设计方案生成――终稿品牌VIS设计评价――基于大数据的品牌VIS精准宣传与信息反馈。

参考文献

[1]黄金平.浅议企业品牌战略[J].科技信息，2009（26）：48.

[2]张建.基于大数据平台的精准广告系统研究与设计[J].电脑与信息技术，2015（04）：47-50.

[3]陆艳军.大数据平台访问控制方法的设计与实现[J].信息安全研究，2016（10）：926-930.

[4]张志强.基于特征学习的广告点击率预估技术研究[J].计算机学报，2016（04）：780-790.

[5]马二伟.大数据时代广告产业结构优化研究[J].国际新闻界，2016（05）：153-168.

[6]周傲英.计算广告：以数据为核心的Web综合应用[J].计算机学报，2011（10）：1805-1819.

第11篇

关键词：大数据；催化裂化；技术分析

中图分类号：TE969 文献标识码：A

在现在科技信息不断发展的过程中，对大多数事物处理的方式都依靠科技信息化，这是因为在进行各项事物的过程中结合相应的科技手段不仅仅能够使得操作人员的工作更加便利，而且对于事项的准确进行也起到非常重要的作用。这一点对我国目前进行油气资源提炼上也能够得到表达。在我国对油气资源的提炼主要采用催化裂化的装置，但是这种装置在运行的过程中还存在着一些问题，这就需要采用大数据技术手段对其中可能出现的问题进行有效地控制，这一技术手段在国外大多数国家都得到广泛地应用。但是由于我国自身的科技发展水平还有很大的缺失，导致大数据技术手段在我国石化行业还没有得到良好的使用。

一、在催化裂化装置上应用大数据技术的思路

由于催化裂化装置在进行石化工作的时候经常会出现一些问题，这些问题的出现就会导致整个装置不能得到合理的使用。需要对这些问题进行有效地分析和控制，从根本的角度上保证催化裂化装置在进行石化工作时候发生问题的概率有一定的降低。而在社会上得到广泛应用的大数据技术对催化裂化装置使用过程中能够进行远程监控和诊断，这就大大地减少了装置在使用过程中发生问题的可能性。

总的来说要想保证催化裂化装置能够得到良好的开展，就需要对装置上的大数据平台进行全面地建设。在对这项技术手段研究中发现对大数据平台的建立可以采用分布式技术架构进行，这样对催化裂化装置的监督和控制能够更加顺利地进行。对平台的建设在社会时间研究中主要可以分成3个部分。以下笔者就对这3个部分进行详细地研究。

二、具体的研究内容

1.数据整定及样本数据模式开发

在催化裂化装置运行过程中发生的各项问题主要是通过数据整定进行分析的，其根本原理在于通过大数据技术对政治进行有效地观察，将运行过程中的相应数据进行合理地整定。一般来说问题的最后表现形式应该是以样本的形式存在。而对样本收集形成的一个集合体中还存在着基础样品库和专题样品库，这两个层面对催化裂化装置进行分析都起到非常重要的作用。而且在对催化裂化装置进行控制和监督的过程对其中发生的问题也会进行详细地分类，这样做能够减少对问题解决的时间，对提升催化裂化装置的运行效率起到不可忽视的作用。

2.大数据分析算法库开发

在社会实践研究中清楚地发现，大数据对催化裂化装置进行监督和控制的根本原理在于通过分析算法库进行的。这也从根本的角度上说明分析算法库在大数据分析中的作用。这项技术手段对整个装置引擎能够进行有效地计算，而且分析算法库内部包含的种类也非常广泛，每一种算法针对不同的装置问题，这就说明了开发大数据分析算法库对解决装置中出现的问题起到非常重要的作用。

3.分析模式应用

大数据内部的分析模式对整个催化裂化装置中出现的问题在进行有效地监督之后，还可以实现问题的可视。这样对施工操作人员在对问题进行处理和解决的过程中发挥非常重要的作用。而且在装置发生问题的时候通过可视性操作可以有针对性地对问题进行解决，对大数据技术在催化裂化装置中的合理应用奠定坚实基础。

三、应用模型开发

（一）报警分析模型

利用工厂生产的历史数据进行数据挖掘，生成各个位点之间的相关性与因果链路，并以因果链路图为指导完成工厂生产异常工况的预警。此外，对中国石化各套催化裂化装置的报警数据进行筛选，利用报警管理算法降低报警数量。生成各个位点间的相关性与因果链路主要通过传递熵算法，需要选取历史数据中各个位点平稳的一段数据作为算法输入，计算后得到位点两两之间的相关性大小（以传递熵值大小表示）。根据对相关性的显著性水平检验判断筛选出各位点之间的因果关系，并以此为依据做出因果链路。

（二）结焦诊断模型

模型收集催化装置结焦前后历史数据，利用非线性主成分分析方法，结合实验室的结焦机理研究，确定结焦关键性参数，综合利用神经网络算法等预测方法对结焦趋势进行长周期预测及优化，并通过聚类算法及互相关函数等时滞分析算法建立关键性参数与大量操作数据、原料性质数据、装置数据等工业数据之间的关联关系网，并提出具体可执行的减缓结焦的方案。

四、信息可视化

信息可视化旨在进行大规模信息资源的视觉呈现，利用图形图像方面的技术与方法，帮助操作人员理解和分析数据，囊括了数据可视化、信息图形、知识可视化、科学可视化以及视觉设计等方面。可视化提供了深入洞察大数据的手段，将拟采用Processing语言，引入电子艺术的概念，辅助进行系统开发的可视化设计。

结语

综上所述可以清楚地看出在石化工程中最常用的装置就是催化裂化装置，但是这项装置在使用过程中经常会出现一些问题，这就需要应用大数据技术。大数据技术在工业化生产中进行全面研究，在大数据工业化应用中可以发现这项技术对社会经济的提高起到非常重要的作用，也说明大数据技术在石化行业中的使用值得推广。

参考文献

[1]，郑晓军，明梁，赵劲松，高金森.大数据技术在催化裂化装置运行分析中的应用[J].化工进展，2016（3）：2.

第12篇

关键词：大数据时代；软件工程技术；应用

随着信息技术的广泛应用，人们逐渐步入到大数据时代，大数据时代让人们的生产生活方式都发生了改变，让人们的生活变得更加便捷，同时也为企业提供了发展的条件，促使企业在新时代背景下得到更好的发展，但在便捷的同时也为人们带来了新的挑战和机遇，尤其是软件工程的发展，相关研究技术人员要在掌握软件工程技术的基础上，加强对软件工程技术应用的创新和改革，为软件工程技术提供更多的发展条件。

一、大数据和软件工程技术的发展方向

（一）大数据和软件工程技术的开放式发展随着科学技术的快速发展，互联网技术逐渐应用到各个领域的发展中，随之随着互联网技术的广泛应用，人们逐渐进入到大数据时代，大数据的到来让计算机技术得到了改革。大数据要想得到更好的发展，就必须要开发和寻求发展的途径，在产生大量数据流的基础上，不断的创新优化技术。计算机软件工程技术要想得到更好的发展，就要加强建设计算机网络的开发环境，让计算机在开发的环境中实现相互通信、资源共享，提升软件的利用率。此外，网络在运行的过程中可以增加利润，让不同用户都能满足需求，从而节约资源，提高资源的利用率。

（二）大数据和软件工程技术应用到其他领域随着大数据时代的到来，对计算机软件工程技术又提出了新的要求，要将计算机软件工程技术和大数据技术进行有效的融合，从而更好的服务于社会。目前，软件工程技术已经得到了各行各业的广泛应用，由于软件工程技术对各领域都起着推动作用，让各个应用程序都能得到有效的运行，同时还可以对相关平台的数据信息进行收集并整理分析。如：用户在购买股票对大数据进行分析时，可以利用软件工程技术对大数据信息进行构建数据模型，利用数据模型，预测股票的变化形势。

二、大数据时代下软件工程技术的应用

（一）安全信息技术的应用在大数据时代背景下，其产生的大量数据流之间会有一定的联系，但数据也会因此产生不同程度的影响，所以，要想提高数据的实效性和安全性，就必须要科学、合理的管理数据系统。在一般情况下，大型的数据信息平台都是开放式的，随着互联网信息技术的快速发展，互联网信息技术逐渐应用到各个领域中，它让人们的生活更加的便捷，但在便捷的同时也存在一定的风险，随着时代的发展，人们逐渐进入到大数据时代，在大时代背景下出现了较多的黑客，这些黑客利用大数据的漏洞进行违法操作，这对数据的储存和分析产生严重的影响，因此，在大数据背景下，要加强软件工程技术的应用和建设，为数据的实效性和安全性提供有效的保障。

（二）进行数据信息采集大数据的发展依据是对数据信息进行采集整理分析，在软件工程技术中对数据信息进行采集整理分析也是非常重要的部分，因此，在大数据时代背景下，可以通过软件工程技术的应用，对相关数据信息进行采集整理分析，同时还要提升各个软件之间的协作能力，扩大数据信息的储存空间。此外，用户在运行软件工程技术过程时，可以根据用户的需求，对相关对数据信息进行采集整理分析，同时还要将多余的数据进行删改，从而降低大数据的数据采集成本，让用户在对大数据进行进行采集整理分析时，提升处理效率，以此来为软件工程技术的提供更好的发展和应用条件。

（三）进行数据信息储存随着大数据时代的到来，数据信息逐渐从G和T转变成ZB，且数据信息在进行储存时，储存在内容不再单一的文字了，其内容包含图形、文字、视频等形式，由此可见，在大数据时代背景下，对计算机的性能和储存空间又提出了新的要求和挑战，要求在大时代背景下进行数据储存时，避免出现数据信息缺失的现象，而软件工程技术可以有效的解决这一问题，它不仅可以提升数据信息的储存空间，而且还能提升储存数据信息安全性能，可以有效的防止储存的数据信息缺失。除此之外，在大数据时代下应用软件工程技术，可以通过利用软件工程技术中的云技术，将数据信息进行云端储存，提升计算机的储存空间，以此来提升计算机储存空间的利用率。

（四）利用大数据加强建设软件服务工程随着软件工程技术的广泛应用，软件服务工程的数量在逐渐增加，这为软件工程技术提供了发展方向。在开发软件服务工程时，不同的软件工程有不同的开发目标，要遵循软件服务工程的基本原则，然后根据服务的目标对内容进行调整，最后在对相关软件工程进行开发。另外，由于在大数据时代背景下，产生的数据信息容量大，且结构更为复杂，因此相关科研人员要加强对软件工程技术的创新和优化，在现有的大数据技术基础上，加强对软件工程技术的建设，促使软件工程技术在大数据背景下得到更好的应用和发展。

第13篇

我国电子政务建设已经经历了十多年的发展，并且取得了一定的成效。新时期，在大数据时代，电子政务系统已经很难满足政府服务实际需要，对此，应该加快构建基于大数据背景的电子政务系统，促进电子政务系统朝向指挥系统方向发展。对此，本文首先介绍了大数据时代电子政务面临挑战，然后对大数据背景下电子政务建设要点进行了详细阐述。

【关键词】大数据 电子政务 建设

1 引言

在经济全球化背景下，加强电子政务建设已经成为国家发展的关键问题。在大数据背景下，电子政务必须不断创新，结合实际情况进行开发建设，这样才符合新时期政府政务工作发展需要。

2 大数据时代电子政务面临挑战

2015年8月，国务院正式《促进大数据发展行动纲要》。在大数据背景下，电子政府面临很多发展机遇和挑战。对此，必须促进大数据背景下的电子政务建设，推动政府服务、管理和决策等多个方面的转变和发展。然而，基于大数据背景的电子政务建设涉及的内容复杂多样，包括人才结构变化、机制创新、推广应用等等，而这些都是对于电子政务建设的重大挑战。

3 大数据背景下的电子政务建设要点

3.1 建立统一技术标准

在基于大数据背景的电子政务建设过程中，首先需要明确统一的技术标准，并且制定统一的规划制度。在电子政务工作中，互联网安全以及信息安全至关重要，因此，需要建立符合政府部门办公特色的电子政务标准，比如公众信息网、办公业务网、信息资源库等等。另外，在电子政务的网络安全方面，还应该建立并完善相关法律体系，从而为电子政务的实际应用提供安全保障。通过建立统一的技术标准，能够有效促进电子政务的开发和建设。

3.2 基础设施建设

电子政务基础设施是由三部分所组成的，包括硬件、数据库以及电子政务平台，这三个部分之间为层进关系，而为了将三者进行有效结合，还需要科学合理的架构。信息基础设施的建设目标主要包括提升存储设备性价比、增加网络带宽等等，通过优化基础设施，能够为大数据存储和传播提供重要保障。另外，在电子政务建设中，可以利用云计算，为大数据的管理和访问提供重要的平台。在大数据背景下，云计算必须不断创新，在统一标准的基础上，对数据库进行科学合理的构架，从而实现对于数据的高效采集和存储，避免出现资源浪费问题。

3.3 在线服务与电子参与

电子政务平台的开发可以认为是软件层的开发，电子政务平台各项功能的开发都需要建立在对用户实际需求进行详细分析的基础上。电子政务平台的用户主要有两类，即群众和政府工作人员。因此，对于电子政务平台的需求也应该体现在两个层面上，

（1）服务，即政府部门在线服务，通过构建在线服务平台，能够有效降低群众寻求政府服务和帮助的成本；

（2）政务工作人员日常工作流程，主要包括公文起草、审核、下发、存储等等。因此，通过构建电子政务平台，能够实现无纸化办公，提高政府在线办事效率。

根据国内外对于电子政务的研究和应用实践，在政务业务管理以及辅助决策工作中，大部分都与地理空间的分布情况有一定的关联，电子政务在城市建设和发展中发挥着十分重要的作用。在大数据背景下，在电子政务需要针对政府部门的具体业务内容进行信息化规划和建设。现如今，科学技术正处于不断发展中，随着电子终端技术的不断发展，电子政务系统也在不断进步，这样才能够服务群众应用需要，增加民众参与度，充分体现出电子政务系统的功能。新时期，计算机已经得到普及，同时智能手机、平板电脑等应用也越来越广泛，对此，政府应该不断创新电子政务在线服务设计和建设，开发电子政务系统功能，使得民众能够通过手机、平板电脑等终端设备获得政府政务信息。

3.4 开发电子政务数据应用平台

在大数据背景下，政府可以通过电子政务实现政务数据共享。另外，通过电子政务系统，政府部门也可以向社会采购或者联合开发出大数据应用平台，并提供相应的技术服务。通过开发建设电子政务数据应用平台，政府可以有效利用现有数据和资源，提高政府服务政府服务效率，从而达到转变政府工作职能、加强社会监督能力、降低政府监管成本的作用。

4 大数据背景下电子政务建设和应用成效

4.1 政府能准确把脉市场，提高监管和服务的效率

在政府日常政务工作中，通过应用大数据技术，政府部门可以对不同行业、企业、地区的需求进行详细分析，结合企业实际经营情况、销售情况等，准确把握市场发展趋势，然后在此基础上更好的服务企业，采取有效措施引导企业经营发展方向。与此同时，政府通过大数据分析，还可以对市场进行有效监管。

4.2 提高政府的信息服务水平

在大数据背景下，政府通过建立大数据平台，可以对经济信息资源进行收集、分类和处理，然后将数据信息作为政府部门基础数据库。大数据来源于社会经济统计分析，因此，通过智能手机或者计算机数据信息，均能够满足企业实际需要。与此同时，政府部门通过对数据库信息进行审核和处理，还可以添加至全国信用信息平台中。

4.3 打破“信息孤岛”

过去，电子政务系统建设的服务对象是政府相关部门，因此，在电子政务建设过程中，必须以政府行政部门的发展为主要方向。但是，在大数据背景下，电子政务的服务对象不仅是政府部门，而且还包括企业、公众，因此，通过建设基于大数据背景的电子政务，能够有效实现信息数据共享，打破“信息孤岛”局面，有效促进信息数据的发展和进步，避免电子政务数据信息出现混乱的局面，提高政府服务水平。

5 结语

大数据技术发展迅速，在大数据背景下，电子政务发展面临很多机遇和挑战。对此，政府应该建立统一技术标准，加快基础设施建设，提高在线服务与电子参与度，并且合理开发电子政务数据应用平台，这样才能够有效提高政府政务水平。

参考文献

[1]郭兴军.试论大数据对电子政务的影响[J].科技致富向导，2013（19）：172-173.

[2]谢婷玉.大数据背景下电子政务管理的新发展[J].信息技术与信息化，2015（09）：139-142.

[3]王云庆，刘佳慧.大数据时代背景下我国电子政务创新模式[J].党政干部学刊，2013（12）：36-37.

第14篇

关键词 大数据 软件设计 创新

中图分类号：TP311.11 文献标识码：A DOI：10.16400/ki.kjdkz.2015.11.018

Innovative "Normalization" Software

Design Ideas Based on Big Data

YU Xingwen

（Institute of Information Technology， Nanjing University of Chinese Medicine， Nanjing， Jiangsu 210023）

Abstract In the field of software development， large data in the fast promotion of the rapid processing of data， development of data mining and related software products. Big Data has become the new driving force for the continued growth of the information industry， based on the innovative activity of big data software development has become an important issue. This article explores the smart device manufacturers， it is possible to adapt the data requirements of the development of large， innovative features of "Five in One" software development model.

Key words big data; software design; innovation

1 背景：时代呼唤大数据，基于大数据开展的创新研发日新月异

（1）大数据方兴未艾，智能制造成强国重要力量。随着移动互联网、物联网、社交网络、数字家庭、电子商务等新一代信息技术的广泛应用，大数据不断产生。海量、多样化的大数据在实际生产、工程等各行业中不断在创造出显著的经济效益和社会价值，也在决定着企业的未来发展变化。有人把数据比喻为煤炭资源，那么如何利用和挖掘这些大规模数据的潜力就将成为决战未来，取得竞争优势的关键。可见，大数据在考验着人类的数据驾驭能力，也深刻影响着人们是否能够更深刻、全面地洞察未来。

（2）创新型软件研发日新月异。在软件研发领域，大数据在快速促进着数据快速处理、数据挖掘以及相关软件产品的发展。大数据已成为信息产业持续增长的新的驱动力，新的技术、产品、服务、业态在不断涌现，新一代智能型产品在国民经济的各行业中所占份额在不断提高。

大数据也促使着各行各业的决策从“业务驱动”升级为“数据驱动”，在成为企业提高核心竞争力的重要影响因素。比如，零售商可以通过大数据实时掌握市场动态，以作出更加精准有效的市场营销策略活动，为消费者提供更加有亲和力的个性化服务;在公共事业领域，大数据可提高全民医疗保障及社会福利水平，更好地促进经济和谐发展，加强社会管理、稳定公共秩序。

与此同时，由于大数据的体量巨大、数据类型多元化、处理速度快、价值密度低， 也造成了用常规软件工具在较短时间内进行数据的抓取、管理和处理等工作能力受到制约。尽管已经有了诸如大规模并行处理技术、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台等多种技术，“大数据”也需要更新的处理模式以及采用更新型的软件，才能更加充分发挥大数据的决策、洞察及优化等方面的能力。

可见，基于大数据的软件研发的创新活动已成为一项重要课题。

2 软件设计中创新的基本涵义及存在的问题

2.1 创新的基本涵义

创新是企业独立开展相关研发活动，获得自主知识产权以及专有技术，并创造出新产品的过程。当今世界，科技迅猛发展，企业和国家的自主创新能力，决定着其经济竞争能力，以及在文化、社会等多方面的国家影响力。它是综合国力的决定性因素，是企业和国家的持久核心竞争力的重要来源。

2.2 软件行业开展自主创新面临的问题

（1）重视惯性技术已成为企业自主创新的“瓶颈”。近些年来由于忽视对惯性技术领域的原创性发现和发明的研究，使相关产业只能处于“跟踪状态”，而不能成为“领跑者”。要拓展惯性技术领域，就不能在受“需求牵引”，而应自主创新，采用“新技术拉动”企业经营管理模式。而这需要在人才的培养、就业、流动及发展等多方面作出变革。

（2）中国传统文化“不为天下先”的思维在“阻滞”自主创新。创新活动具有不确定性和风险性。中国传统文化中的“不为天下先”的小生产者的思维模式使国民缺乏主体能动性，尤其是内地居民，其拼搏意识、冒险精神和创新精神都在一定程度上较弱于沿海地区和部分西方国家。

（3）企业开展技术开发与创新的“主体意识”不强。由于技术开发与创新的研发成本高、风险大、需时长、见效慢，现行企业经营管理体系对科技创新可能带来的未来绩效认识不足，管理者往往追求利益短期化。再加上部分行业垄断行为，致使企业自主创新基础更加薄弱，创新意识不强，创新能力弱化。

（4）企业自主创新持续发展的保障性制度不完善。目前企业创新相关法律法规相对滞后，体制建设尚不健全，有利于提高科技进步和创新活力的措施尚未完全普遍采用，科技成果转化为现实生产力的有效机制尚未真正建立。尤其是基础科技及公共领域方面的创新型资金投入尚需体制上的保证。

（5）自主创新的网络化建设尚不健全。创新活动需要国家政策、科学技术链、研发资金链、技术服务链、人才建设构成一个有机网络化整体。目前，我国科技服务机构还比较弱小;国际科技创新合作，尚停留在重引进、轻吸收、欠创新、少自主的阶段;地区性、行业间、跨单位、的创新型人才流动、资源共享，以及产学研之间的密切合作等方面上尚脱节，流通网络还有待完善。企业与社会自主创新的市场环境与国家体制尚存不足。

3 软件设计的传统思路

3.1 传统软件设计的基本含义

一般来说，传统软件设计，是从软件需求描述开始，根据需求分析的结果进行功能设计，在软件系统的整体结构基础上划分功能模块、确定每个模块算法，然后进行代码编写，最后形成软件。在这一过程中，软件设计通常包含了结构设计、数据设计、接口设计和过程设计四个阶段。传统型软件设计具有以下四个基本特征：抽象、模块化、信息隐蔽、模块独立性。

3.2 面对大数据时代，传统型软件设计思路的几点商榷之处

（1）模块化减低了软件研发的复杂性、易于修改、使系统的并行开发更为便捷。但使系统的有机统一性受到影响。（2）数据的类型、形式、结构及其转换的相关规范和实现应进一步适应大数据时代的需要。（3）系统体系构造应考虑到针对大数据构造大规模系统的要求，在降低复杂性，提高构造运行速度，及设计能够适应规模增长的系统方面引起重视。（4）程序集成方面，应可借助各种系统构造工具，将软件设计从源代码开始，直至程序编译、程序链接等作综合考虑，以利于形成简捷高效稳定可靠安全的可执行程序。

4 基于大数据的软件设计新思路

4.1 软件设计的实质

比较各种软件设计的概念，可知软件设计就是用合适的技术方法，依据工程原理，来完成器件、设备、程序、体系、系统的物理实现的过程。其实质是：设计者通过软件来完成一定功能，满足客户的需要，实现或扩展某些功能的一项创造性活动。只不过，计算机软件设计与其他工程学科相比，发展时间尚都短，还处在“幼年”，仍需更新的方法、更好的算法分析以及理解力等显著进化。

4.2 软件设计的发展方向

随着时代变迁，大数据风起云涌。软件开发过程的演化也在随之改变。从早期的瀑布式开发模型、螺旋式迭代开发，到后来的敏捷开发方法，都体现出不同时代软件开发过程的特色，以及对软件研发项目的运作模式。

在大数据时代，智能型机器及设备已广泛应用到各行业，及家庭办公、家居生活中，具有新的特色，如：人性化、智能化、灵境化、熵平衡化。

人性化特色。人性化从技术和人的关系来看追求协调，使技术围绕人的需求来研发。人性化理念，具体体现在满足消费者的功能需求时，又满足消费者的心理需求。追求美观与消费者的生活习惯、操作习惯的完美统一。

智能化特色。现阶段设备如手机等，都是现代通信技术、网络技术、及智能控制技术的综合集成。设备不仅具有一定的“感知”能力，即具有能够感知外部世界、获取外部信息的能力;而且具有“记忆和思维”能力，即能够根据感知到的外部信息进行一定程度上的分析、计算，进而完成一定程度上的判断、联想、决策;更高级的，还具有一定程度上的“学习能力和自适应能力”，以及“行为决策能力”，比如“机器人”、精确制导导弹等。这些系统和产品，都体现了一定的“智能化”。

灵境化特色。大数据，使相关计算产品能，是综合了计算机图形技术、计算 机仿真技术、传感技术、显示技术等多种科学技术的最新成果，通过采用虚拟现实技术，能够全部或部分由计算机生成具有一定程度的视觉、听觉、触觉等多维感觉环境，给人提供一个观察并与虚拟环境进行交互作用的多维人机接口，使人可在虚拟环境中接观察事物的内在变化，并进行交互活动。这都给人一种“身临其境”的真实感。这一特点尤其体现在影视艺术及相关设备上。

熵平衡化特点。熵定律是科学定律之最，这是爱因斯坦的观点。在大数据时代，人类更加重视人与自然的和谐共处，因此，在产品研发时，如何做到能源、物质、信息等循环时平衡转换也是重要课题。

4.3 基于大数据的“归一”软件设计模式简述

“归一”软件设计模式又可称为软件研发“生命体”模式，或称“五位一体”目标导向式软件研发模式，其框架如图1所示：

在这一框架中，存在着“一心“、“二极”、“五位”、“四环”。其中：“一心”即指软件设计注重“创新”这一主特色。“二极”指“问题”、“需求”。在这二者的沟通中，探讨出问题处理方案，给出软件设计的基本框架，和相关算法。“五位”指：在“二极”的基础上，由：A.工具资源;B.规则（含语法类、需求类、领域类又称供给类、参数设置类）;C.控制手段类软件措施（如控制类结构语句、类、指针与标志、算法等）;D.创新思想（含硬件方面、软件方面、问题方面）等四位构成有机整体，在开展研发活动中，要强调这“五者”的有机统一，做到五位一体，融会贯通。“四环”指软件研发过程中，应通过“结构-行为-目标-绩效”四环节完成软件设计，这一研发行为模式开始于“二极”、在“五位”所构成的外环境中实现目标任务的完成。这是一种以创新思想为主要特色的“目标导向”型行为驱动研发模式。

4.4 “归一”软件设计模式的基本特征

（1）从思想上高度重视软件部分在产品、工程、系统中的重要性，“差之毫厘谬以千里”，要求软件设计应做到安全、可靠。（2）从数据转换上，更注重从数据采集、初级数据、代码、指令、机器码、控制信号、操作指令、输出信号到终端的全过程特点，应对各环节的数据形式、结构及转换作统一考虑。（3）这一模式，根源于人与自然的完整世界观，探讨以新思想去进行软件设计，从价值工程的角度去进行软件体系的构造，以充分开发智能型机器的价值。（4）遵循五项设计原则：安全、生态、质量、效率、经济。

参考文献

[1] [加]Peter Smith著.深入理解软件构造系统原理与最佳实践.仲田等译.北京：机械工业出版社，2012.

第15篇

智慧油田是在数字油田的基础上，以大数据技术为核心，以降低成本，安全、环保地提升油气产量为目标，实现油田的勘探开发、油气生产、资产管理、流程再造等环节的科学化、透明化及智能化。

【关键词】智慧油田 大数据 应用

随着时代的发展，互联网与信息行业不断地进步，大数据分析的应用越来越广泛。随着国际油价持续低迷，石油企业利润大幅降低， 以降低成本，安全、环保地提升油气产量为目标，实现油田的勘探开发、油气生产、资产管理、流程再造等环节的科学化、透明化及智能化，成为石油行业信息化发展新的突破点。

1 大数据技术与大数据应用

1.1 大数据技术

大数据分析就是在信息网络技术以及科学技术的基础上，经过多元化的渠道与途径，对大量的数据进行收集、归纳、整理，进而形成具有庞大信息数据的体系。随着社会经济的快速发展，科学技术的不断创新，大数据与传统的数据分析存在明显的差异，这主要表现在数据信息量、数据结构、数据分析的方式等几个方面，数据的储存量变大了，传统的数据存储空间已经不能满足现在信息量，在数据信息量增加的过程中，数据处理模式也在不断地变化中，将大量的数据作为新的资源来源方式，大数据分析具有更强的灵活性，可以因时而变。

1.2 大数据特点

大数据具有较强的规模性、数据处理速度高、处理方式多样等特点，迅速成为信息领域颠覆性技术之一。数据处理量大、数据种类多、价值密度低、数据处理速度快是大数据分析的主要优点，这不仅改变了人们生活以及工作的方式，也推动了各行各业的发展。大数据时代有三大转变：

（1）可以分析更多的数据，可以处理和某个特别现象相关的所有数据，通过更高的精确性能够发现更多的细节。

（2）大量的数据分析处理，适当忽略微观层面的精确度，能够带来更佳的分析结果和更大的利益价值。

（3）无需挖掘因果关系，而是更注重事物之间的相关关系。大数据打破了传统数据的边界，改变了以往大多数依靠行业内部业务数据的局面，充分利用了数据资源，不仅包括企业内部数据，也包括企业外部数据，尤其是和消费者相关的数据。

2 大数据在石油行业的应用场景

在石油行业的上游和中游应用大数据分析结构化及非结构化数据具有十分重要的意义。对石油开采过程中产生的数据多维度的深入分析，将有助于快速发现石油、降低生产成本、提高钻井安全性、增大产量等。大数据将在下列石油生产领域应用发挥巨大作用。

勘探：通过应用先进的数据，比如模式识别，在地震采集过程中得到一个更全面的数据集，地质学家可以识别在使用大数据之前可能被忽略了的潜在的富有成效的地震数据。

开发：大数据分析可以帮助石油天然气公司评估生产过程。这些分析涉及到地理空间信息、信息推送、油气信息报道等可以让集团可以更智能的开发油气水井、更富有竞争力的领域发挥大数据分析的作用。

钻井：除了基于有限的数据来进行监控和告警，大数据分析可以使用真正的实时“钻井大数据”来基于多个条件异常或预测钻井成功的可能性。

生产作业：提高采收率是很多石油天然气生产公司的目标。大数据可以同时使用地震、钻井和生产数据，将储层的变化情况实时的提供给储层分析工程师，为生产人员提供举升方法改造方案。大数据也可以用来引导页岩气压裂。

维护：预测性维护对于油气田公司来说已经不是一个新的概念了。但是它并没有得到应有的关注和预算。在上游生产过程中，如果压力、体积、温度可以被一起采集和分析，并且与以往的设备损坏历史数据进行比较，那么预测就是可以自动化的。在中游输油管道的情况也是类似的。这种方法在需要探测故障，尤其是故障会影响健康，安全和环境的时候显得尤为必要。

3 典型应用

3.1 智能化井场

在井口部署单井综合测控柜和压力、温度等多种传感器，实现单井生产参数的采集以及对抽油机的远程启停及变频控制。井场所有数据上传至中心控制室的采集服务器显示、存储及应用，从而实现对单井生产全过程、全天候的远程管理，实现无人值守，井场只需要定期巡检。单井综合测控柜主要针对油井、气井、水井等目标实施智能监测和远程控制。本产品主要实现油井采集示功图、载荷、回压、井口温度、电流、电压有效值、有功功率、无功功率、功率因数、上下冲程最大电流值、上下冲程功率、平衡率、日用电量、累计电量、冲次、系统状态与采集时间等数据；远程控制抽油机的启停。另外，在每座井场内边缘树立监控杆，杆上安装红外一体化摄像机和无线传输设备，实现井场视频图像的采集；监控中心通过视频服务器实现井场视频图像的远程监视、管理、储存和控制。

3.2 油气生产物联网

油气生产物联网是通过部署井场数据采集、远程控制、智能视频监控系统，实现对各类生产井、站、管线的全过程、全天候、全业务、全覆盖，达到对井场自动感知、无人值守、重点巡查、组织维修的效果，实现提高劳动生产效率和安全生产的目标；对参与油馍产的各类资源（人员、设备、仪表等）形成实时管控；构建扁平化综合管理平台，减少管理层级，应用先进、综合技术手段提高管理实效。目前，华北油田油气生产物联网已建成了近2000口油井的数字油田；在山西晋城成功建成了我国第一个数字化、规模化煤层气田；在长庆苏里格气田建成了新一代天然气生产自动化测控系统，实现了远程24小时不间断对各类井站进行可视化监控、生产数据自动录入、远程设备控制、报表自动生成、远程批量启停单井、自动巡井等一系列操作及管理。

随着信息通信技术发展积极累至今，大数据作为新发明和新资源，正通过不断的技术创新和发展，让我们有机会更加深入走进信息社会，正在逐渐改变我们的生活方式和思维模式，其所带来的巨大价值正被人们认可，而且在社会整体建设中的信息孤岛现象将大幅消减，数据共享将成为可能，大数据的发展，有利于提高科学决策能力，有利于管理模式的改变，有利于节约社会资源和成本，提升公共服务保障能力。

参考文献

[1]李金诺.浅谈石油行业大数据的发展趋势[J].价值工程，2013（29）.

[2]宋亚奇，周国亮，朱水利.智能电网大数据处理技术现状与挑战[J].电网技术，2013（04）：927-935.

[3]翟淑伟，石奇光，杨燕玲，等.火电厂运行状态监测数据挖掘技术综述[J].华东电力，2012（02）：29-295.