前言:我们精心挑选了数篇优质融合技术论文文章,供您阅读参考。期待这些文章能为您带来启发,助您在写作的道路上更上一层楼。
关键词:数据融合传感器无损检测精确林业应用
多传感器融合系统由于具有较高的可靠性和鲁棒性,较宽的时间和空间的观测范围,较强的数据可信度和分辨能力,已广泛应用于军事、工业、农业、航天、交通管制、机器人、海洋监视和管理、目标跟踪和惯性导航等领域。笔者在分析数据融合技术概念和内容的基础上,对该技术在林业工程中的应用及前景进行了综述。
一、数据融合
1.1概念的提出
1973年,数据融合技术在美国国防部资助开发的声纳信号理解系统中得到了最早的体现。
70年代末,在公开的技术文献中开始出现基于多系统的信息整合意义的融合技术。1984年美国国防部数据融合小组(DFS)定义数据融合为:“对多源的数据和信息进行多方的关联、相关和综合处理,以更好地进行定位与估计,并完全能对态势及带来的威胁进行实时评估”。
1998年1月,Buchroithner和Wald重新定义了数据融合:“数据融合是一种规范框架,这个框架里人们阐明如何使用特定的手段和工具来整合来自不同渠道的数据,以获得实际需要的信息”。
Wald定义的数据融合的概念原理中,强调以质量作为数据融合的明确目标,这正是很多关于数据融合的文献中忽略但又是非常重要的方面。这里的“质量”指经过数据融合后获得的信息对用户而言较融合前具有更高的满意度,如可改善分类精度,获得更有效、更相关的信息,甚至可更好地用于开发项目的资金、人力资源等。
1.2基本内容
信息融合是生物系统所具备的一个基本功能,人类本能地将各感官获得的信息与先验知识进行综合,对周围环境和发生的事件做出估计和判断。当运用各种现代信息处理方法,通过计算机实现这一功能时,就形成了数据融合技术。
数据融合就是充分利用多传感器资源,通过对这些多传感器及观测信息的合理支配和使用,把多传感器在空间或时间上的冗余或互补信息依据某些准则进行组合,以获得被测对象的一致性解释或描述。数据融合的内容主要包括:
(1)数据关联。确定来自多传感器的数据反映的是否是同源目标。
(2)多传感器ID/轨迹估计。假设多传感器的报告反映的是同源目标,对这些数据进行综合,改进对该目标的估计,或对整个当前或未来情况的估计。
(3)采集管理。给定传感器环境的一种认识状态,通过分配多个信息捕获和处理源,最大限度地发挥其性能,从而使其操作成本降到最低。传感器的数据融合功能主要包括多传感器的目标探测、数据关联、跟踪与识别、情况评估和预测。
根据融合系统所处理的信息层次,目前常将信息融合系统划分为3个层次:
(l)数据层融合。直接将各传感器的原始数据进行关联后,送入融合中心,完成对被测对象的综合评价。其优点是保持了尽可能多的原始信号信息,但是该种融合处理的信息量大、速度慢、实时性差,通常只用于数据之间配准精度较高的图像处理。
(2)特征层融合。从原始数据中提取特征,进行数据关联和归一化等处理后,送入融合中心进行分析与综合,完成对被测对象的综合评价。这种融合既保留了足够数量的原始信息,又实现了一定的数据压缩,有利于实时处理,而且由于在特征提取方面有许多成果可以借鉴,所以特征层融合是目前应用较多的一种技术。但是该技术在复杂环境中的稳健性和系统的容错性与可靠性有待进一步改善。
(3)决策层融合。首先每一传感器分别独立地完成特征提取和决策等任务,然后进行关联,再送入融合中心处理。这种方法的实质是根据一定的准则和每个决策的可信度做出最优的决策。其优点是数据通讯量小、实时性好,可以处理非同步信息,能有效地融合不同类型的信息。而且在一个或几个传感器失效时,系统仍能继续工作,具有良好的容错性,系统可靠性高,因此是目前信息融合研究的一个热点。但是这种技术也有不足,如原始信息的损失、被测对象的时变特征、先验知识的获取困难,以及知识库的巨量特性等。
1.3处理模型
美国数据融合工作小组提出的数据融合处理模型,当时仅应用于军事方面,但该模型对人们理解数据融合的基本概念有重要意义。模型每个模块的基本功能如下:
数据源。包括传感器及其相关数据(数据库和人的先验知识等)。
源数据预处理。进行数据的预筛选和数据分配,以减轻融合中心的计算负担,有时需要为融合中心提供最重要的数据。目标评估。融合目标的位置、速度、身份等参数,以达到对这些参数的精确表达。主要包括数据配准、跟踪和数据关联、辨识。
态势评估。根据当前的环境推断出检测目标与事件之间的关系,以判断检测目标的意图。威胁评估。结合当前的态势判断对方的威胁程度和敌我双方的攻击能力等,这一过程应同时考虑当前的政治环境和对敌策略等因素,所以较为困难。
处理过程评估。监视系统的性能,辨识改善性能所需的数据,进行传感器资源的合理配置。人机接口。提供人与计算机间的交互功能,如人工操作员的指导和评价、多媒体功能等。
二、多传感器在林业中的应用
2.1在森林防火中的应用
在用MODIS(ModerateResolutionImagingSpectroradiometer)数据测定森林火点时的20、22、23波段的传感器辐射值已达饱和状态,用一般图像增强处理方法探测燃烧区火点的结果不理想。余启刚运用数据融合技术,在空间分辨率为1000m的热辐射通道的数据外加入空间分辨率为250m的可见光通道的数据,较好地进行了不同空间分辨率信息的数据融合,大大提高了对火点位置的判断准确度。为进一步提高卫星光谱图像数据分析的准确性与可靠性,利用原有森林防火用的林区红外探测器网,将其与卫星光谱图像数据融合,可以使计算机获得GPS接收机输出的有关信息通过与RS实现高效互补性融合,从而弥补卫星图谱不理想的缺失区数据信息,大大提高燃烧区火点信息准确度和敏感性。
2.2森林蓄积特征的估计
HampusHolmstrom等在瑞典南部的试验区将SPOT-4×S卫星数据和CARABAS-IIVHFSAR传感器的雷达数据进行了融合,采用KNN(knearestneighbor)方法对森林的蓄积特征(林分蓄积、树种组成与年龄)进行了估计。
KNN方法就是采用目标样地邻近k个(k=10)最近样地的加权来估计目标样地的森林特征。研究者应用卫星光谱数据、雷达数据融合技术对试验区的不同林分的蓄积特征进行估计,并对三种不同的数据方法进行误差分析。试验表明,融合后的数据作出的估计比单一的卫星数据或雷达数据的精度高且稳定性好。
2.3用非垂直航空摄像数据融合GIS信息更新调查数据
森林资源调查是掌握森林资源现状与变化的调查方法,一般以地面调查的方法为主,我国5年复查一次。由于森林资源调查的工作量巨大,且要花费大量的人力、物力和资金。国内外许多学者都在探索航空、航天的遥感调查与估计方法。
TrevorJDavis等2002年提出采用非垂直的航空摄影数据融合对应的GIS数据信息实现森林调查数据的快速更新,认为对森林资源整体而言,仅某些特殊地区的资源数据需要更新。在直升飞机侧面装上可视的数字摄像装置,利用GPS对测点进行定位,对特殊地区的摄像进行拍摄,同时与对应的GIS数据进行融合,做出资源变化的估计或影像的修正。
试验表明,融合后的数据可以同高分辨率矫正图像相比,该方法花费少,精度高,能充分利用影像的可视性,应用于偏远、地形复杂、不易操作、成本高的区域,同时可避免遥感图像受云层遮盖。
三、数据融合在林业中的应用展望
3.1在木材检测中的应用
3.1.1木材缺陷及其影响
木材是天然生长的有机体,生长过程中不可避免地有尖削度、弯曲度、节子等生长缺陷,这些缺陷极大地影响了木材及其制品的优良特性,以及木材的使用率、强度、外观质量,并限制了其应用领域。在传统木制品生产过程中,主要依靠人的肉眼来识别木材缺陷,而木材板材表面缺陷在大小、形状和色泽上都有较大的差异,且受木材纹理的影响,识别起来非常困难,劳动强度大,效率低,同时由于熟练程度、标准掌握等人为因素,可能造成较大的误差。另外在集成材加工中,板材缺陷的非双面识别严重影响了生产线的生产节拍。因此必须开发一种能够对板材双面缺陷进行在线识别和自动剔除技术,以解决集成材加工中节子人工识别误差大、难以实现双面识别、剔除机械调整时间长等问题。
3.1.2单一传感器在木材检测中的应用
对木材及人造板进行无损检测的方法很多,如超声波、微波、射线、机械应力、震动、冲击应力波、快速傅立叶变换分析等检测方法。超声技术在木材工业中的应用研究主要集中在研究声波与木材种类、木材结构和性能之间的关系、木材结构及缺陷分析、胶的固化过程分析等。
随着计算机视觉技术的发展,人们也将视觉传感器应用于木材检测中。新西兰科学家用视频传感器研究和测量了纸浆中的纤维横切面的宽度、厚度、壁面积、壁厚度、腔比率、壁比率等,同时准确地测量单个纤维和全部纤维的几何尺寸及其变化趋势,能够区分不同纸浆类型,测定木材纤维材料加固结合力,并动态地观察木材纤维在材料中的结合机理。
新西兰的基于视觉传感器的板材缺陷识别的软件已经产业化,该软件利用数码相机或激光扫描仪采集板材的图像,自动识别板材节子和缺陷的位置,控制板材的加工。该软件还具有进行原木三维模型真实再现的计算机视觉识别功能,利用激光扫描仪自动采集原木的三维几何数据。
美国林产品实验室利用计算机视觉技术对木材刨花的尺寸大小进行分级,确定各种刨花在板中的比例和刨花的排列方向;日本京都大学基于视觉传感器进行了定向刨花板内刨花定向程度的检测,从而可以通过调整定向铺装设备优化刨花的排列方向来提高定向刨花板的强度。
在制材加工过程中,利用计算机视觉技术在线实时检测原木的形状及尺寸,选择最佳下锯方法,提高原木的出材率。同时可对锯材的质量进行分级,实现木材的优化使用;在胶合板的生产过程中,利用计算机视觉技术在线实时检测单板上的各种缺陷,实现单板的智能和自动剪切,并可测量在剪切过程中的单板破损率,对单板进行分等分级,实现自动化生产过程。Wengert等在综合了大量的板材分类经验的基础上,建立了板材分级分类的计算机视觉专家系统。在国内这方面的研究较少,王金满等用计算机视觉技术对刨花板施胶效果进行了定量分析。
X射线对木材及木质复合材料的性能检测已得到了广泛的应用,目前该技术主要应用于对木材密度、含水率、纤维素相对结晶度和结晶区大小、纤维的化学结构和性质等进行检测,并对木材内部的各种缺陷进行检测。
3.1.3数据融合在木材检测中的应用展望
单一传感器在木材工业中已得到了一定程度的应用,但各种单项技术在应用上存在一定的局限性。如视觉传感器不能检测到有些与木材具有相同颜色的节子,有时会把木板上的脏物或油脂当成节子,造成误判,有时也会受到木材的种类或粗糙度和湿度的影响,此外,这种技术只能检测部分表面缺陷,而无法检测到内部缺陷;超声、微波、核磁共振和X射线技术均能测量密度及内部特征,但是它们不能测定木材的颜色和瑕疵,因为这些缺陷的密度往往同木板相同。因此,一个理想的检测系统应该集成各种传感技术,才能准确、可靠地检测到木材的缺陷。
基于多传感器(机器视觉及X射线等)数据融合技术的木材及木制品表面缺陷检测,可以集成多个传统单项技术,更可靠、准确地实时检测出木材表面的各种缺陷,为实现木材分级自动化、智能化奠定基础,同时为集裁除锯、自动调整、自动裁除节子等为一身的新型视频识别集成材双面节子数控自动剔除成套设备提供技术支持。
3.2在精确林业中的应用
美国华盛顿大学研究人员开展了树形自动分析、林业作业规划等研究工作;Auburn大学的生物系统工程系和USDA南方林业实验站与有关公司合作开展用GPS和其他传感器研究林业机器系统的性能和生产效率。
目前单项的GPS、RS、GIS正从“自动化孤岛”形式应用于林业生产向集成技术转变。林业生产系统作为一个多组分的复杂系统,是由能量流动、物质循环、信息流动所推动的具有一定的结构和功能的复合体,各组分间的关系和结合方式影响系统整体的结构和功能。因此应该在计算机集成系统框架下,有效地融合GPS、GIS、RS等数据,解决这些信息在空间和时间上的质的差异及空间数据类型的多样性,如地理统计数据、栅格数据、点数据等。利用智能DSS(决策支持系统)以及VRT(可变量技术)等,使林业生产成为一个高效、柔性和开放的体系,从而实现林业生产的标准化、规范化、开放性,建立基于信息流融合的精确林业系统。
南京林业大学提出了“精确林业工程系统”。研究包括精确林业工程系统的领域体系结构、随时空变化的数据采集处理与融合技术、精确控制林业生产的智能决策支持系统、可变量控制技术等,实现基于自然界生物及其所赖以生存的环境资源的时空变异性的客观现实,以最小资源投入、最小环境危害和最大产出效益为目标,建立关于林业管理系统战略思想的精确林业微观管理系统。
[参考文献]
关键词虚拟数据仓库;数据中心;联邦;信息门户;元数据
1引言
随着信息技术的飞速发展,国内外各大石油公司的竞争已经表现在信息技术应用的竞争,都在设法借助信息技术的力量,寻找新的增长点,从石油天然气行业的上、中、下游陆续建立了各类信息系统,历经数十年,投资数十亿美金不等。
另一方面,国内大多数油气田,现有的信息系统多为自主开发和部分引进系统。已经完成的各类专业应用软件、专业数据库系统和数据仓库等分别建立在不同的平台上,数据源各异,信息标准不一、相互独立,信息来源渠道分散并分别集中在不同的层次,相互间难以实现不同层次信息交换;这些系统不仅各自独立,分散,甚至存在某些数据重复建设的情况,数据冗余严重,同一份数据重复出现在多个应用系统中,存在数据不一致的风险。
数据中心(数据融合平台)通过将油田各应用系统有机集成和业务重组,最终构建一个统一的、标准的、集成的、能够包容各业务流程的数据中心体系架构和数据交换和共享平台,支持分散的、松藕合的分布式应用集成。大大地避免油田在信息系统方面重复建设,重复投资,为油田节省大量的资金。
然而,各大油田对数据融合平台建设目标和建设内容的理解各不相同。所采用的技术也是五花八门,这样实现的数据中心往往运行效率不高、对原有系统改动大(有的甚至直接放弃原系统)、难于推广,这势必会严重影响数据中心的全局应用。
在本文中我们试图通过分析影响数据中心建设的若干关键技术因素及解决方案,得到一个具有普遍意义的、先进、高效的数据融合平台架构。
2关键技术因素分析
2.1如何有效整合大量异构、异平台数据源
随着油田信息化建设的深入进行,大量的信息系统被开发并投入运行,由此而产生出了大量的同构异数据库、异构异平台的不同数据源,在这些数据源中有些是结构化的、有些则是文档、曲线数据等非结构化数据,还包括OA、ERP、纸制文档等一大批数据源。如不能有效整合和管理这些数据,将很容易造成数据遗失和管理混乱。
然而,如何有效整合如此庞大、复杂的数据源呢?是将所有数据集中到一个大库中统一管理?还是采用分布式技术建立统一访问平台?如何在各数据源的基础上实现综合、分析、挖掘?这些问题都将成为油田数据中心建设所面临的难题。
2.2如何为用户提供统一的登录及安全可靠的数据访问平台
油田数据中心建设用户提供统一的登录及安全访问的目的是为了解决以下几大问题:
(1)各系统之间互不兼容,数据信息不能共享。
(2)用户使用不同系统时,需要在不同系统中不停登录切换,效率低下。
(3)管理人员需要记忆一大堆的用户名和密码。
(4)不同系统需要很多不同专业的人员更新维护,维护成本很高。
针对上述问题,目前行业内提出了很多解决方案,但是在实施中如何选择最优的方案以解决面临的诸多难点问题:
(1)如何解决灵活性适应性差,花费大量时间建立的信息系统不能适应需求的变化,一旦需求改变,就将不断修改程序甚至全部重建,增加时间和资金投入的问题。
(2)如何建立起全局的安全访问目录,为用户提供灵活、方便、安全的数据服务。
(3)如何有效集成大量图形、图表工具,为不同角色、管理级别的用户提供直观、灵活的查询界面。
(4)个性化服务问题,即为用户定制访问首页及访问内容。
2.3如何有效管理元数据
元数据的定义一般泛称为:Dataaboutdata(管理数据的数据)。元数据的具体定义和应用随学科不同和应用领域不同而异。在石油领域,元数据是描述一个具体的油田数据库数据资源对象(数据集或数据),并能对这个对象进行定位管理,且有助于它的发现与获取的数据。
从元数据的定义可以看出,所谓元数据就是要定义一种管理数据的格式或数据字典,与此同时数据之间的关联也应定义在元数据中。然而在具体实施中却存在着一系列难点问题需要解决,例如:
(1)在石油领域里需要定义怎样的数据格式?
(2)元数据的规模有多大?
(3)如何将元数据的定义与数据源进行抽取、过滤、转换、映射关联在一起,从而实现元数据定义的自动化?
(4)如何为元数据管理提供完整易用的操作界面(甚至是图形化的界面)?
2.4如何充分利用企业现有硬、软件资源及网络资源
企业现有服务器、网络资源往往得不到充分的利用,如何高效的组织企业现有硬、软件环境为生产应用服务,这也是数据中心建设中急需解决的一大问题。
实施中可能遇到的难点问题包括:
(1)如何评估企业现有硬件、网络资源的使用效率?
(2)如何根据数据中心运行需求来优化配置企业现有资源?
(3)网络及硬件设备管理规范。
2.5如何从海量数据中整理、挖掘出有价值的数据仓库模型
建设面向主题的数据仓库首先面临的问题就是如何区分决策关键数据。其次是主题分类的问题,不同的专业需要不同的决策数据,需要建立不同的数据仓库模型,这一点不同于研究院现有的数模和建模,需要在庞杂的业务数据中不断挖掘出新的、不同规模的主题和仓库模型,并为这些主题建立起专业分类以方便管理,随着应用的深入能够被发掘出来的主题会越来越多、越来越细。最后,怎样把这样大量的数据转换成可靠的、商用的信息以便于决策支持的问题也是数据仓库建设中必须要解决。
3数据整合平台的总体技术架构设计
3.1数据融合平台系统设计思想
通过上述关键技术因素分析,我们明确了所要解决的主要目标问题,在此基础上我们进一步提出数据融合平台系统设计思想和关键技术路线。
1)数据融合平台建设是一个庞大的系统工程,需要分阶段、分步骤实施。从上述关键技术因素分析中我们可以提炼出系统建设的三个主要层次,即:首先要完成数据中心所需数据的分析、整理工作,从而制度出统一的数据标准和元数据规范;其次是已数据标准为基础建立数据交换与共享平台;最后建立项目数据库和数据挖掘、知识管理环境。
2)数据融合平台需要建立在一个高效率、高稳定、高可扩展性以及高安全的运行环境中,因此作为目前技术主流的J2EE符合此类大型系统的设计需要,它具有可靠、稳定、跨平台的诸多优势。另一方面,数据融合平台需要一套完整的而有机结合的技术解决方案,要解决包括异构、异平台乃至非结构化数据的有机融合、符合个性化和安全要求的信息门户与数据交换平台的有机整合、知识管理、数据挖掘环境与数据交换平台的有机整合。在众多J2EE平台中,只有IBM方案能够有效满足上述三大结合的需要,其主流产品WebSphereII、WebspherePortal、DW9已被广泛运用于电力、银行等大型企业数据整合系统中并具有较高的性价比。
3)针对数据集中还是分布的问题,我们提出的虚拟数据仓库体系架构有效结合了集中式和分布式优点,既能够保证原有系统不会因为数据集中而影响使用,又能够通过ETL从虚拟数据仓库中导出项目数据到项目数据库中。有效满足了用户对数据的各类需求。
4)需要建立一个可扩展的集成数据挖掘、知识管理、OLAP等多种分析工具在内的项目环境为知识发现提供基础运行平台。
5)需要建立以数据中心为核心的服务器群集环形网络架构体系及数据存储NAS和SAN混合架构。服务器群集环形网络架构体系包含群集件和负载平衡管理,可以定义规则使之在正常工作时和应对故障时自动为每个服务分配处理资源。
3.2虚拟数据仓库总体技术架构
下面我们给出虚拟数据仓库总体技术架构,本架构全面覆盖了五大技术因素,并有机融合了目前国际领先、成熟的技术、产品包括联邦技术、门户技术、元数据管理、数据评分及多维数据分析技术,服务器群集环形网络架构体系及数据存储NAS和SAN混合架构等。
图1虚拟数据仓库总体技术架构
技术架构分析:
本技术架构由两大资源管理平台构成:
石油数据资产化管理与应用系统平台
专业应用和综合应用数据资源平台
(上图中两大平台所涉及领域用白色虚线区分)
石油数据资产化管理与应用系统平台主要内容介绍:
1)目前分散在各部门的数据库系统(包括勘探、开发、生产调度等)在物理位置上保持现状,但在逻辑上和管理上统一纳入分布式数据库系统管理范畴。它们的数据源采集流程及数据质量保障则纳入标准化体系,对录入数据进行数据整理、质量审核、数据加载。
2)虚拟数据仓库体系建立在分布式数据管理系统基础之上,提供索引编目、安全管理、元数据管理、权限管理、空间数据集成、数据抽取等服务。
3)数据中心数据管理门户为虚拟数据仓库管理人员提供统一的登陆和管理操作界面。
4)企业应用门户提供数据资源需求用户统一的登陆、检索界面。
专业应用和综合应用数据资源平台主要内容介绍:
1)数据需求者根据需求,通过虚拟数据仓库抽取出所需要的数据建立数据集市。
2)根据以建立的数据集市提供用户数据挖掘、高级检索、OLAP所需的相关工具支持。
3)数据集市还包含地震、测井等大体数据。
4油田数据整合关键技术
4.1联邦技术
联邦是指对跨越多个数据资源的数据关联查询的技术。通过实现该技术从而支持不同数据库表之间(甚至文本文件间)数据的关联查询。整合不同数据(分布式和大型机,结构化和非结构化,公共和私有),在处理使其如同是在单个数据源中。联邦技术能够统一地访问以任何格式(结构化的和非结构化的)存储的任何数字信息。通过采用数据联邦,可在不影响现有应用的前提下,将各类系统的数据源通过联邦的方式映射到一个逻辑的数据库中。联邦的特性:透明性。所有信息源看起来就像是一个信息源。
异构性。从不同数据源整合数据。
可扩展性和工具化。可以访问任何数据源。
可以通过标准的分析、报告和开发工具来无缝利用的高级功能。查询接口提供了基于标准的完整功能——包括对后端数据源中缺少能力的补偿。
避免需要对现有数据源和应用程序进行更改的自主性。
其性能可以满足实际应用程序和可能应用程序的需要,包括高级查询优化技术、本地数据访问以及透明缓存支持。
联邦的技术组织结构:
图2联邦技术组织结构
图2中:联邦服务器(FederatedDatabaseServer)通过称为包装器(Wrapper)的软件模块与数据源进行通信。对于上述各类数据源,WebSphereII提供专用的wrapper,每个wrapper实现异构数据源的SQL处理,支持异构数据库间数据类型的转换和函数的转换。对关系型数据库数据源而言,包装器通过安装在信息整合平台的该数据库的客户端与其进行交互。对非关系型数据源,包装器直接进行数据访问。包装器从信息整合服务器接受数据访问指令,进行转换为数据源所支持的SQL,通过数据源的客户端提交执行。然后将结果返回给信息整合服务器处理。
4.2Portlet技术
基于IBMWebspherePortal技术实现的油田信息门户平台能够高效地把各种应用系统、数据资源和互联网资源统一集成到通用门户之下,根据每个用户使用特点和角色的不同,形成个性化的应用界面,并通过对事件和消息的处理传输把用户有机地联系在一起。简单而言,门户平台是能够充分满足用户个性化需求,使得用户能够以自己的方式交互访问相关信息、应用软件以及业务流程的集成平台。该平台主要技术特点包括:
多平台系统的单点登录集成框架
在统一的浏览器环境下,通过一次身份认证,即可按照各自的权限存取不同的应用系统,动态浏览企业内部管理信息、外部经营管理信息。
多平台系统内容集成框架
在统一的浏览器环境下,通过与原有应用系统(如OA系统、ERP系统、勘探信息系统,开发信息系统等)进行集成,在保留现有系统的前提下,使得通过统一的门户能够进入这些应用系统,并可以portlet形式集成原有应用系统的内容。
强大的文档搜索功能
石油行业的各种文档形式多样,格式可能是文本、XML、Word文档、PDF及PPT文件,存储在文件系统、内容资料库、数据库及邮件系统中,并且安全级别各不相同。因此,该系统提供区别于其他搜索引擎的专有引擎来搜索各种文档。
与ERP工作流、原始报表和水晶报表系统无缝集成
在统一的浏览器环境下,在各自的使用权限下通过portlet集成展现ERP工作流的审批过程及各种报表,统计图表。
用于协同工作的信息即时交流平台
在该门户系统上工作的同时,用户可看到其他在线的人员,然后通过内部邮件系统、在线聊天等手段与之交流,提高工作效率。
用户的个性化定制
在该门户系统上工作时,可自定义页面,在自己的页面上添加经常关注的信息,或经常要使用的集成的各种应用系统。
强大的安全管理平台
在基于LDAP的技术上,提供基于角色的用户安全管理功能,使得各级用户只能浏览权限范围内的信息,确保系统安全运行。整个系统,只需要一次登录,即可访问所有具有权限的信息和功能。用户口令实现集中管理。
4.3元数据管理
首先,油田各类数据库可以利用元数据技术规范化其现有的数据资源。每个专业领域建立自己的元数据标准,各专业子库按照这种标准的格式向外数据。这样,用户可以通过元数据标准提高数据查询和使用的效率和准确性。其次,这些元数据将记录有关于数据的所有上下文资料,数据管理者可以通过这些元数据对数据资源进行有效的管理,数据的使用者可以根据这些元数据了解数据资源的背景资料等信息。最后,元数据的使用能够进一步的消除各个数据资源之间的语义的独立性和异构性,能够达到一定限度的数据整合和交换。
图3油田元数据管理
油田元数据网格服务包括三个主要过程:用户通过元数据网格服务到元数据库中检索元数据;用户根据元数据到网格应用数据库中查询获取数据;网格应用数据库中新增数据库、表、字段、某些特殊记录时,向元数据网格数据库与之相关的信息、资料。
4.4数据挖掘与知识发现技术
总体框架中描述的专业应用及综合应用平台需要包括从后台数据整理、分析到前端图形图表展现的全面技术支撑。
IBMDB2DWE(DataWarehouseEdition)是面向商业智能应用的软件产品包,它包含十多个工具,给商业智能提供了全面、坚实的支持。其中,DB2Alphablox是新版DWE的亮点,它是一套基于Java开发的分析组件。
图4IBMDB2DWE产品分布
DB2Alphablox支持标准的J2EE应用程序开发模型,从而提供了可实现应用程序交付的全面开发范例,这为应用程序开发人员提供了定制用户界面和添加自己商业及应用程序逻辑的灵活性。通过DB2Alphablox,用户将获取功能强大的报表生成、图形化分析、无限制的信息“钻取”等多种体验。DB2CubeViews是DB2通用数据库的附加功能部件,它增强了DB2,使DB2作为开发和部署商业智能产品和应用程序的平台,特别值得一提的是,DB2CubeViews有助于加速位于DB2上的OLAP解决方案和应用程序的开发和管理。
该技术主要特性包括:
DB2UDBV9.1中的DataWarehouse特性包括:
用于大量可伸缩性的DatabasePartitioningFeature。
用于提高DBA效率和所有规模的数据库的自动管理。
多维数据集群--在OLAP和其他查询中使用的数据的优化存储选项。
为仓库查询提供Cube似的性能的具体化查询表。
帮助维护实时仓库的OnlineUtilities。
DesignAdvisor,使得易于为高性能的分析工作负荷设计优化的一组仓库对象(包括MQT、索引、分区和MDC)。
用于高级分析的内置功能,包括回归、协方差、柱状图和移动窗口。
5总结
本文针对五大关键技术因素提出的油田异构数据源整合虚拟数据仓库系统,使得企业能够多种业务应用系统、多种异构数据源并存,实现异构数据源的动态及时互访,以及信息的挖掘与综合利用,既保护了企业的原有信息化投资,又提供了应用系统由旧向新、系统平台由低向高平滑过渡,能够满足企业低成本、阶段性、可扩展性信息系统建设的需要。
参考文献
[1]陈长清,等.异构平台的数据仓库与数据开采技术DB/OL;http://
[2]仇丽青,等.面向Web的数据仓库体系设计J.计算机应用研究,2004,(9)
[3]MobasherB,JainN,HanE,SrivastavaJ.Webmining:PatterndiscoveryfromworldwidewebtransactionsR.TechnicalReportTR96-050,UniversityofMinnesota,Dept.ofComputerScience,Minneapolis,1996
[4]IBM,IBM联邦数据库技术.
http://www-/
[5]IBM,WS技术白皮书.
ttp://www-/developerworks/
[6]刘启原,刘怡.数据库与信息系统的安全[M].科学出版社,2000,1.20-28
[7]毛锋.数字油田的理论.设计与实践[M].北京:科学出版社,2001.65-106
[8]罗广华,熊华平.油田开发数据仓库的建立[J].大庆石油地质与开发,2002,(02).34-35
摘要:数字技术的出现,对于既有媒介的生存与发展造成了重大的冲击。以互联网与手机为骨干的新媒体正在迅速取代既有媒介的市场。面对冲击,媒介经营者亟思转变,希望救亡图存。媒介融合就是在这种背景下,应运而生的思潮。不论媒介采取何种融合策略,其根本都是透过资源共享和节省成本的方式,来提振媒介的竞争力。这种思维固然能够在节流上产生一定的功效,可是面对日益偏移的市场,却没有提出足够积极的因应之道。从事业经营的层面来看,将媒介经营提升到策略层面进行全面性的思考,应该才是在认清未来市场变化的状况下,提出有效因应之道的方式。
数字技术的出现对于媒介生态的改变是明显且巨大的;而且这项传播革命仍然在迅速地推进与演化之中。面对数字技术的重大冲击与快速扩展,既有媒介的经营势必遭受重大的挑战。如何力挽狂澜,自然是媒介经营者必须积极面对的课题。媒介融合就是这种时空背景下的产物;强调的是透过不同的方式进行跨媒体的资源整合,以强化现有媒介的生存与竞争能力。这方面的思考与研究近年来成为媒介经营的研究重点。
然而,不论以哪种方式进行融合,其主要诉求仍然在于资源效率的提升;(AndrewNachison,2001)而没有对市场结构的变化,作出太多的探索与因应。这样的取向是危险的,因为当市场结构与市场边界都已经改变或重划的时候,不根据现况进行策略调整,就直观地将解决方案设定为资源效益的提升与费用的节省之上,就很可能会因为策略的偏差而陷入资源虚掷的窘境。因此,对于市场结构的探索,及进行经营策略的修订,应该是比资源整合更为优先的议题。据此,媒介经营的探索应该以市场的改变为观察基础,以企业竞争力的提升为策略修改的方向,然后透过媒介融合作为绩效提升的手段,才能真正为媒介经营效益的提升作出实质的贡献。
从这个角度思索,在思索如何进行媒介融合之前,针对未来媒介经营的探索至少应该包含下列层面:(一)数字技术带来的变化,(二)竞争层面与竞争对手的变化,(三)媒介经营战略的思考,(四)主要策略行动的建议。
一、数字技术带来的变化
回顾媒介发展的历史,不难发现媒介产业的结构变化,多与传播科技的重大发明关系密切。具体言之,没有印刷术(Printing)的成熟,纸质媒介就无从产生;没有菲林(Film)的问世,电影工业就无从发轫;没有模拟(Analog)技术的发明,广播与电视就无法成为现实。当然没有数字技术(Digital)的诞生,互联网也就无从着床与成长。(让•诺埃尔,2007)不过,值得注意的是数字技术发明之前,每次传播科技的变革虽然都会改变媒介生态,并且重新划分媒介市场,但是这些传播技术各有其局限性,因此新生媒介无法完全取代既有媒介。正因为这样,互联网出现之前,媒介产业的竞争基本上是同类媒介之间的捉对厮杀;即报纸与报纸竞争,广播与广播互比苗头,电视与电视相互比拼。
这种因为技术壁垒而形成的市场区隔与竞争态势,在数字技术发明之后,至少在理论上已经发生了根本性的变化,主要原因是:
1、数字技术能够将各种类型的传播信息转化成为统一的数字格式加以储存与传送(文字、图片、影像、声音),并且可以在同一接口上,还原为原本的信息格式,同时呈现给信息受众;并且这种数字格式的信息可以长久保存于互联网和数据库之中,供全球网民随时主动取阅、复制、收藏与转发。
2、以数字技术为基础的个人计算机系统,让长期以来处于被动的信息受众,具备了主动发送信息的能力。这种转变让长久以来,以专业人士为范围的媒介竞争发生了改变。更具体说,在茫茫网海中的任何一个网民,都有可能因为散发了吸引受众的信息,而迅速地成为广受欢迎的信息来源,并且可能因此名利双收。
3、数字技术带来的设备变革,让信息传递几乎不用成本。尽管互联网的建设与维持费用十分惊人,但是这笔费用却是由网络平台的经营者与全球网民共同分担,因此任何信息的产制者都能够以几乎不花成本的方式进行信息传递。特别是互联网提供的免费电子邮件功能,更是让任何类型的信息产制者(包含:专业与业余,持续性与间歇性)都可以随时主动出击。(戴维•史陶,2004)这种改变打破了进入媒介产业的财务门坎,让任何人都可以在互联网上,建构自己的媒介组织和受众社群,因而对现有的各种专业性媒介造成了巨大的营运威胁。
4、数字技术带来的信息爆炸,让专业性媒介的重要性日益下降。专业性媒介是透过信息产制与递送来赚取利润的事业单位。为了创造信息的价值,专业媒介投入了巨大的人力、物力与财力,来搜集、撰写与编制各种信息成为商品。但是,不论组织规模再大,资源再丰沛,都无法与广大、匿名且充满各种不同专业技能的网民相比,尤其网民并不是固定的职业,而是各种社会专业人士的另一种身份。(翟本端,2001)尤有甚者,网民并不依靠产制与散播信息为生,且没有必须产制信息的义务,因此往往是在信息与他们的专业知识与技能极度相关的状况下,才会主动出击。尽管这种信息产制与发送方式在组织性与时效性上,仍难与专业媒业媲美,但是在信息的专业性上,有时比专业媒介所涵盖的层面更广,更深入,也更精确。
透过上述对于数字技术的研析,可以发现数字技术的发明是对传播设备,信息产制技术、信息发送方式及媒介经营环境等层面,所同时发动的一场根本性的传播革命;而这场革命牵动的层面不只是媒介组织的内部变革,而是对媒介组织的存在方式所展开的一场严峻挑战。
二、竞争层面与竞争对手的变化
虽然媒介在社会体系中,被赋予了许多不同的角色,但是纯就经营层面而言,媒介与其他产业相同,无法规避财务压力的制约,因此开发与维持资金流的顺畅自然是研究媒介经营的首要议题。从营销的角度来看,任何产品如果可以为组织带来金流,就表示这项产品的质量、功能与价值被市场所接受。相对于此,则表示不具备市场价值。(查尔斯史,2003)再从投资的角度来看,如果商品带入的交易金额大于投入的资本,就表示有效投资。相对于此,则代表无效投资。在有效投资的状况下,即使资源的使用较为浪费,充其量也只是收益的衰减而已。但是,在无效投资的状况下,则无论资源被多么有效的整合与运用,也会因为没有市场,而产生不了任何收益。(刘凤鸣,2005)
现实的状况当然比这个简单的陈述复杂的多,因为同类商品的供货商有许多,因此只有具备竞争力的厂商,才能因为获得市场的支持而存续与发展;至于不具备价格、功能、品牌或质量优势的供货商,即便市场存在,也难免被淘汰的命运。这样的逻辑固然更为周延,但是却没有将环境的变化纳入考虑。在科技飞速发展的时代,市场不断地被消灭与重生;市场的边界也不断地被争夺与重划,因此以既有产业边界内的对手为竞争对象的思维已经不敷使用。事实上,现代科技的发展结果常常是创造一些新兴产业的同时,也造成一些产业的衰败。对于新兴产业而言,规模再小也是生机无穷;但是就衰败产业而言,则常常是大鲸鱼跟小虾米一起灭亡。(金伟灿,莫伯尼,2005)
为了提升竞争力的分析高度,竞争力大师麦可•波特(MichaelPorter)建构了著名的五力分析模型。(麦可•波特,1998)他认为企业不但需要注意既有的竞争对手(existingcompetitors),更不可以忽略潜在进入者(potentialentrants)、替代者(substitutes)、供货商(suppliers)和买主(buyers)的影响力。从麦可.波特的理论,可以很容易理解录音机、八厘米摄影机、录放机为何迅速消失。用相同的理论架构来分析媒介产业,也可以清楚地理解为何当互联网用户急遽上升的时候,各种既有媒介的经营会压力日重。
在五力分析模型的架构之上,波特进一步为企业竞争力的提升提供了三种通用策略,分别是:全面成本领导策略(overallcostleadership)、差异化策略(differentiation)与焦点集中策略(focus)。全面成本领导策略的重点就是追求最低成本的策略。这个策略的核心与媒介融合的要义基本相同,都是透过资源整合与效益扩张的方式,来降低成本与提升企业的竞争能力。不过,全面成本领导策略往往是企业在遭遇市场滑落或是激烈的价格竞争时,才会实行的策略。差异化策略的重点在于利用各种方式,让消费者感觉到产品与众不同,因为无法接受替代品而对企业产生忠诚度,进而使得竞争力能够提升。对于注重品牌策略的企业来说,差异化策略是他们的策略核心;其要意是透过展现各种层面(质量、功能、质感、知名度)的不同与卓越,来规避价格竞争的压力。从营销的角度来看,这个策略就是透过强化产品的附加价值来强化企业竞争力的策略思维。(菲立普•科特勒,1993)焦点集中策略则是针对中小企业或者是遭逢重大市场变革的大型企业所设计的策略,其核心概念是透过锁定特定目标或自己的核心专长来提供服务或产品,以降低风险及增加效益。例如:当全球争相进入庞大的计算器市场时,英特尔选择焦点集中策略,集中资源成为全球中央处理器的龙头。(提姆,1998)
根据波特提供的三种策略来分析媒介经营,可以发现媒介融合的取向,其实就是全面成本领导策略的延伸。这种策略取向固然表面上对于以大众市场为目标的媒介产业十分合适,但是却没有对产品的差异化与市场结构的变化做出太多的思考。事实上,从产品差异化的角度来看,媒介经营如果能够创造出差异化,是可以掌握市场,产生经济效益的。例如:在互联网已经大行其道的时候,苹果日报于2003年在台湾开始发行。透过独特的编辑政策与版面设计,立即获得广大的市场占有率。虽然对于苹果日报的批评始终不断,但是丰沛的收入却不得不让其他媒介眼红。同样地,当各家有线电视流血厮杀,竞逐日渐萎缩的广告收入时,HBO大胆放弃广告市场,首创“全天候,无广告”的电影滚动播映模式;结果大受欢迎,成为最成功且收费最贵的电影有线频道。(彭吉象,2006)
相对于此,许多历史悠久的媒介,却因为抱残守缺,一成不变,而必须面对江河日下的营收与负债累累的压力。例如:号称历史最悠久的瑞典报纸——《邮政与国内新闻报》(PostochInrikesTidiningar)(北方网,2006),具有九十年历史的美国威斯康星州首府麦迪逊的晚报——《首都时报》(CapitalTimes)(北方网,2008),具有七十几年历史的中国党报——《中央日报》(南方周末,2006)都纷纷停止印刷版的发行,只保留了网络版的持续发行。与甫上报架、即被横扫一空的Vogue时尚杂志和壹周刊相比,这些报业老兵必定为自己的无力回天而潸然泪下。更可悲的是当这些老牌媒体的香消玉殒根本无法引起关注与同情。例如:《纽约时报》的发行人沙兹伯格接受以色列《国土》报访问时说:“《纽约时报》正处转型期,转型之旅的终点就是停止印刷纸张形式的《纽约时报》。”他说:“我真的不知道(印刷版的)《纽约时报》会不会在5年内停掉,但你知道吗?我根本不在乎(这件事)。”(中国评论新闻网,2007)
再就焦点集中策略的角度来看,也可以发现过去媒介以匿名大众为目标顾客的“大市场理论”已经逐渐失效。反而是那些针对某些族群的特殊需求,或是以满足社会大众某方面兴趣为目标的媒介能够屹立不摇。例如:英国的太阳报就是以追逐名人的私生活为主要诉求的报纸。尽管该报强调的“狗仔文化”饱受各方抨击,但是营收的不断扶摇直上也是不争的事实。(郑保国,2004)此外,在加拿大率先推出新闻播报之后,英国、美国、日本都认为市场潜力广大,而纷纷起而效尤。(北方网,2006)当然,这并不是说所有的媒介都必须放弃立场,走回“黄色新闻”的老路,但是却点出了未来媒介的经营不能只专注于信息的产制与发送而已,而是必须同时与社会大众的某种需求相结合。
三、媒介经营战略的思考
这是个快速变动的世界,几乎没有任何组织可以永远屹立不摇。除了奇异和国际事务机器等极少数的企业之外,过去许多名闻遐迩的国际级企业,例如:迪吉多计算机(彼得•圣吉,1994)、王安计算机(陈中兴,2007)等,现在都已经积弱不振了。造成这些企业衰败的原因不是资金、技术和品牌,而是忽略市场的策略失误。媒介经营也是一样。根据市场所进行的策略思考往往是决定兴衰的关键。如果迪吉多计算机的创办人兼总裁欧森(KenOlson)不要武断地认为全世界只需要五台超级计算机;如果王安计算机不要乎视随机存取内存的市场前景,今天全球计算机市场的状况不会如此。同样地,如果媒介经营者忽略互联网的优势,或者是找不出因应的对策,那么就很可能被市场淘汰。
蓝海战略就是在这种思维下被建构出来的。金伟灿和莫尼伯(Kim,W.Chan&MauborgneRenee)认为,在既有疆界里的竞争,势必因为同构型过高,而让产品与服务失去特殊性,于是造成价格竞争,利润降低,最后厂商彼此厮杀,血流成河,让整个市场成为“红海”一片。败者固然退出市场,胜者也元气大伤。因此,他们建议跳脱既有思维,藉由重划市场边界的作法,找出新的需求,才能让自己摆脱竞争,悠游在清凉的“蓝海”之中。他们并举出太阳马戏团、星巴克咖啡、西南航空、黄尾袋鼠葡萄酒、四季饭店等快速窜升的企业为例子,来印证他们的理论。质言之,蓝海战略的核心概念就是主动重新划分市场边界;而不是等待市场的改变。同时,由于市场边界的改变,竞争对手与竞争方式也都会连带的改变。因此,蓝海策略可以说是藉由改变游戏规则,来赢得市场优势的策略。
这个道理对于媒介产业来说也是一样的。现在,既有媒介的主要竞争者绝对不是同业,而是互联网的经营者与骨干线路的提供者。先以报纸来说,当报业拼命降低售价与广告费的同时,互联网却是免费提供各种信息,而且速度更快,取得更方便,也可以复制与储存。再以电视来说,当电视台仍在拼命拉广告的时候,有线电视与互联网则是以抽成分红的方式,对观众进行直接销售,向厂商展现具体效益。广播电台的情形也好不到哪去,在网络广播提供的频道中,听众可以收听到几乎全球各个电台的播音。电影的情形更是让人担忧,除了网上免费下载之外,骨干线路的提供者也已经积极朝向随选电视(VideoonDemand,VOD)的方向迈进,观众可以透过以个别节目付费的方式,在自己方便的时间观赏电影与电视节目。(彭群弼,2008)与此同时,手机也不甘寂寞,除了可以接收手机报,收听广播,下载歌曲,玩电动游戏之外,3G技术的逐渐成熟势必会与随选电视结合,对电视台的营运造成影响。(布兰登博格,2004)
根据墨尔(Moore)的创意扩散曲线图,可以知道任何新的创意与技术,在开展初期都只有少数的“创新者”会接受与使用;随着技术的成熟,“早期接受者”将成为市场扩张的基础,其后“早期主力消费者”及“后期主力消费者”会带动市场的移动,让新的创意与技术成为市场主流。不过,墨尔的研究也指出不管市场是否已经移转,总是还有部分的“后知后觉者”,很少使用或拒绝使用新的创意与技术。(SethGodin,2003)从这个角度来看,既有媒体仍然能够持续存在的原因,应该是新创意与新科技的发展与扩散过程仍然没有完成。但是,随着创意与技术的日渐成熟,既有媒介的市场虽然不会完全消失,但是势必大幅度萎缩。因此,执着于既有疆域的竞争策略,应该是无法振衰起敝的。
四、主要策略行动的建议
美国有句名言:“如果打不过他,就加入他。”(Ifyoucannotbeatthem,jointhem.)今天,虽然以互联网与手机为主角的新媒体仍然在蜕变与成长之中,但是对于既有媒体的市场瓜分已经开始。媒介经营者应该积极思考的是如何因势利导,而不是奋力抵抗。根据蓝海策略的理念,创新的概念不是将现有的产品与服务完全扬弃,而是根据未来市场的环境,找出自己的核心优势,然后在这个基础上,进行市场边界的移转。从这个理论来看,根据既有媒介的主要优势与劣势,可以归纳下列几个主要的策略行动如下:
1、信息搜集:既有媒介多是专业型的组织,信息采集的方式是系统化与组织化的。不过,再大的组织都无法将信息搜集的触角伸到每个角落,因此在信息的搜集能力上,是很难与广大如海的网民相抗衡的。但是,作为专业性的组织,既有媒介的工作者的确比缺乏专业素养的网民,在专业性及接近重大事件的方面享有优势。因此,既有媒介应该集中资源在网民无法接近的信息来源,挖掘有价值的信息,以提升自己的信息质量与社会公信力。至于,菲重要性的信息,可以参考西南航空的方式,(凯文•傅莱伯,贾姬•傅莱伯,1999)以“特约记者”或“义工”的方式,来降低运作成本及扩展信息的搜集面。
2、内容产制:既有媒介的工作者具有专业素养;而网民则具备巨大的信息搜集能力。将二者善加结合就是改变现有模式的作法。换言之,将网民提供的信息,加以查证后,再以专业手法改写与编辑,就能够以较低的成本,产制大量的信息。促使这种策略变革成功的关键在于采访力量与编辑力量的调整。
3、信息传递:固然“后知后觉者”仍然会坚守既有的传播管道,但是以互联网与手机为骨干的新媒体正在迅速扩张。由于新媒体的“平台”特性,各种传播管道(文字、图像、影像、声音)都会被整合,既有媒介在传播管道上,可谓疲态渐露。面对这种颓势,既有媒介如果仍然苦思待变,似乎不是明智之举。相对于此,从“竞争”思维转化为“竞合”思维,(布兰登博格,2004)应该才是较为可行的方式。借用麦可波特的产业链理论,既有媒介可以思考缩减过去从信息采集、信息产制、信息配送的一条龙作法,将自己定位为专业的信息产制者,与新媒体的平台共荣共利,而不是壁垒分明,一决胜负。
4、信息纵深:长久以来,既有媒介传播的信息都有消逝性的缺憾。通常的状况下,报纸的信息存活只有一天;广播与电视当播送完毕,就难以回溯;电影只要下片,就只能等待下次上映。数字技术发明之后,这些障碍迅速消除,也为既有媒介创造出另一片天空。从长尾理论的角度来看,在广大的阅听人中,其实有许多对过去资料的需求被忽略。以Rhapsody网络唱片行为例,经过调查,他们在网络上专门销售那些销量很少的音乐。因为所有的音乐销售场所,都把注意力放在畅销歌曲的销售上,Rhapsody反而可以独占那些只有少数欣赏者的音乐市场。虽然每首音乐的销售量很少,但是这也正是他们能够以极低的价格取得音乐授权的筹码。透过庞大的音乐数据库,即便每首歌的购买者不多,但是加总起来,也可以创造极大的利润。(克里斯•安,2006)同样的道理,既有媒介长期以来累积的信息内容,可能正是一个未被发掘的宝库。透过与互联网结合,加上电子邮件、付费下载、RSS(ReallySimpleSyndication)订阅及大量客制化等功能,原本储藏在媒介数据室里的信息,都可以摇身一变成为产生价值的产品。
总之,在这个不断变换的年代,任何产业都必须在价值链中找到自己的定位,并且集中资源发挥所长,才能在市场上持续存活。更重要的是,经营者必须理解这个定位会随着市场环境的变化而转变,审查时势,勇于创新,找到价值是经营者的责任,也是最重要的工作。