数据采集论文范文

前言：我们精心挑选了数篇优质数据采集论文文章，供您阅读参考。期待这些文章能为您带来启发，助您在写作的道路上更上一层楼。

第1篇

GPRS移动数据传输网络的主要作用就是对无线数据进行传输。在监控对象安装的数据采集点会对数据进行采集，然后经过GSM网络的空中接口模块，同时对数据进行解码处理，然后将其转换为可以在公网传输的格式，最后通过GPRS移动数据传输网络将数据传输至监控中心的服务器。在整个系统中，各个监控点的数据采集模块通过GPRS移动数据传输网络与监控中心相连，数据采集点同意使用STK卡，与此同时，监控中心会对各点进行登记，并在服务器中保存相关资料。各个监控点的数据采集模块中装有数据采集软件，该软件24h在线，对电网中的信息数据进行24h不间断的采集工作。关于信息的传输，使用的是JW0D2系列的GPRS无限透明数据传输终端。该终端基于移动网络，抗干扰能力较强，同时性能较高。此外，该传输终端还提供标准的RS232接口，以便实现与计算机的连接。在传输过程中，速率可以达到172kbps，能满足监控中心与各个监控点的数据采集与处理工作。由于电网数据传输的特殊性较强，因此本系统使用了安全保障，以保证系统运行的稳定性和可靠性。在网络安全方面，经过对信源加密、信道加密、登录防护、接入防护、访问防护等，能有效增强网络安全，加强安全防护。在硬件方面，使用VPN将公网接入到GPRS网中，成本低廉，不用租用专线。此外，使用VPN还可以增强安全性，客户端在链接应用服务器之前，要经过服务器的认证，而且整个数据传输过程均会加密，如此一来，安全性就得到了保障。另外，系统还对用户的SIM卡手机继续鉴别授权，在网络侧对SIM卡号和APN进行绑定处理，只有拥有权限的相关用户才能对专用APN进行访问，没经过授权的SIM卡将无法对APN网络进行访问。

2特点与优势

传输模块的特点主要有：①传输模块采用了工业级的GPRS模块，该模块性能较为稳定，而且其工作温度范围较大。另外，用了嵌入式的CPU作为处理器，功耗低、性能高，还能高速处理协议和大量的数据。②由于该模块的工作方式为multi-tasking，因此实时性较好。③其AT指令的预设简单方便。该模块的通信距离较远，而且具有覆盖面积广的特点，能使终端实时在线，能将无线电无法到达的区域采用GPRS通信的方式进行传输，真正实现了高效传输。此外，该系统还有组网灵活、扩展容易、维护简单、性价比高的特点。

与短消息服务相比，GPRS服务的实施性很强，而且系统不会出现延时的情况，可以对所有数据进行采集。此外，由于GPRS具有双向功能，还可以对采集设备进行反向控制，因此进一步提高了系统的便捷性。本系统的扩展性良好，是大面积覆盖的GPRS网络，所以该系统不存在盲区，而且由于该系统的输出容量较大，数据采集点较多，监控中心要与每一个监控点相连，因此需要系统能满足传输需求。该系统的传输容量较大，能满足突发性数据的传输要求，因此该系统的优点明显。

3结束语

第2篇

对管内车站客票发售的运行数据进行采集统计分析的首要的条件就是要能联到地区客票中心的数据库，能从地区客票中心的数据库里取到相应的数据，PowerBuilder存取数据库的方式有如下两种：a、通过使用标准的数据接口ODBC(开放数据库连接)；b、通过使用一个由Sybase公司提供的专用的直接与数据库相连的接口。本文选择a方式,但连接地区中心的数据库同时也给全地区的数据安全带来了极大的风险，因为地区中心数据库存放着整个地区中心的席位库、售票存根、计划调度命令，以及各种用于客运统计、财务统计和营销分析的所有数据，PowerBuilder作为前端数据库开发工具，提供了当前流行的大型数据库的连接接口同时，还提供一个直观的图形界面和可扩展的面向对象的编程语言PowerScript，用户通过PowerBuilder很松的就可以修改数据库的内容，这无疑会给整个地区客票中心的数据安全带来严重的隐患，是绝对不允许的，所以在取得杭州电算站的同意下，另外开辟一台服务器作为金华车务段的数据库服务器，这样就隔离了对地区中心数据库的破坏，编写工作流脚本每天按时自动从杭州地区客票中心的数据库服务器上将车务段每天的售票存根和基础数据导出，再导入到地区中心车务段的数据库服务器，保持车务段数据库服务器和地区中心的数据库同步，通过铁路专用网，在车务段就可以利用一台PC机利用PowerBuilder通过ODBC接口轻松的连接到地区客票中心的车务段数据库服务器，这样就既不影响杭州地区客票中心数据库的数据安全，车务段还可以利用这些数据进行二次开发。通过PowerBuilder与地区客票中心的车务段数据库服务器连接的方法如图1所示。

2系统设计

2.1设计原则客票数据采集和分析系统是在实现业务需求的前提下，确保软件开发满足高质量软件系统的要求，因此，应该遵循以下设计原则。

2.1.1直观、使用方便用户界面友好、使用简单、操作方便、数据正确完整、分析功能强大。

2.1.2安全可靠考虑到了运输生产数据的敏感性，在代码编制过程中把信息安全放在了第一位，系统中对各个用户权限进行严格分级，并对所涉及的数据库的连接进行加密。确保客票系统核心数据不泄密，确保客票系统运行效率不降低，确保客票系统基础数据不被盗取。

2.1.3可维护性本系统通过ODBC连接到地区中心数据库，并采用Datawindow技术来处理多报表。

2.1.4可扩展性确保客票系统在数据量增长、用户增长以及业务增长时具有良好的可扩展性。

2.2系统构成

2.2.1硬件环境①服务器端：IBMSERVERX3850服务器一台，位于杭州地区客票中心机房，用于存放售票存根和基础数据。②客户端：可联入网络的个人电脑一台、打印机一台。

2.2.2软件环境①服务器端：操作系统采用Unix，数据库服务器采用Syabsel2.3.5数据库。②客户端：操作系统为WINDOWSXP、WIN7，浏览器为IE6.0及以上。

2.3关键技术与实现方法

2.3.1PowerBuilder连接到地区中心的车务段数据库服务器存放在地区中心的车务段数据库服务器是复制地区客票中心数据库服务器的基础数据库和运行数据库，用的都是Sybase数据库管理系统，在车务段可以利用一台安装有PowerBuilder并连入客票网的PC机通过正确配置PowerBuilder的DBprofile，可以连接位于地区客票中心的车务段服务器的Sybase数据库，最后的配置文件内容为。

2.3.2利用数据管道实现数据库之间的同步PB提供强大的数据管道技术，数据管道技术是实现两个数据库之间、数据库内部数据传输的一种常用方法，数据管道技术的调用主要有以下5个步骤：①创建应用程序所需对象；②执行数据管道初始化操作；③启动数据管道；④处理程式运行中移动数据的错误行；⑤执行数据移动完毕后的收尾操作。数据库管道可以在PowerBuilder提供的pipeline画板中创建并定义，需创建一个继承PB管道系统对象的用户对象，再通过这个对象来管理管道操作，编辑支撑对象的PipeMeter事件脚本，实现语句为：St_read.text=string（RowsRead）St_write.text=String(RowsWritten)St_wrong.text=String(RowsInError)保存用户对象，创建支撑用户对象命名为u_pipe，通过定义的u_pipe，可以实现地区客票中数据库中的数据通过稳定的数据管道安全、快速的传送到客票数据采集和分析系统的数据库中。

2.3.3利用DataWindow技术实现嵌套数据报表DataWindow技术是PowerBuilder最具特色最关键的一项技术，其FreeForm风格基本可以代替PB中所给的其他录入控件，达到以假乱真的地步。在数据窗口上显示数据步骤:①利用数据窗口绘图器绘制一个数据窗口对象(DataWindowObject)。②利用窗口绘图器绘制一个窗口对象(WindowObject)，并且在窗口上放置一个数据窗口控件(DataWindowControl)。③指定数据窗口对象(DataWindowObject)给窗口上的数据窗口控件(DataWindowControl)。④将所要连接数据库的信息指定给交易对象(TransactionObject)。⑤利用Connect指令连接数据库和交易对象。⑥利用SetTransObject()函数连接数据窗口和交易对象。⑦利用Retrieve()从数据库读取数据PB数据窗口还具有嵌套报表的功能。所谓嵌套报表就是以一个报表为主体框架，根据需要在其中附加一个或多个报表，形成一个整体报表。其中主体框架的报表为主报表，附加的报表为辅报表。嵌套报表的功能体现在客票数据采集和分析系统中就是用户可以根据不同的筛选条件，可以任意组合，根据用户的不同要求展现不同的报表。

3功能模块分析

客票数据采集和分析系统主要有3大模块，分别是：数据采集模块、数据转换挖掘及定制模块、用户服务处理模块。下面就这3大模块分别进行分析说明。

3.1数据采集模块数据采集模块主要功能就是按用户不同的要求从地区客票中心的车务段数据库服务器中采集自己需要的数据并保存在本地数据库中，以供各种分析和统计，比如异地票的统计，按照路局要求异地票手续费收费标准：除动车组列车的返程票、联程票、低于30元的异地票、学生票以及管内动车组列车异地票免收5元手续费外，其余异地票均收5元异地手续费，用Select语句对数据库中sale_record表中的存根进行筛选，然后用Insert将采集到的数据存入到cen-ter库中的study_ydtj表中作为统计分析最基础的数据，当然这部分的工作都是通过运行PowerBuilder脚本在后成的。由于该模块具有数据传输量大、不可干扰性、准确性要求高和无人工干预等特点，因此，把这个模块设计为运行于数据库服务器中的一个后台进程，该进程通过中间件把客票数据采集和分析系统的数据库连接到地区中心Sybase数据库，然后利用数据管道技术定时批量的传输数据到客票数据采集和分析系统数据库中。为了防止数据传输过程中出现差错，该模块另一个功能是实时检查数据连接状态和数据管道的完整性，一旦发现错误，立即自动重启数据连接，并重建数据管道，有效的防止数据传输过程中差错的发生。

3.2数据转换、挖掘及定制模块数据转换、挖掘及定制模块主要功能是对传输到客票数据采集和分析系统数据库中的运输数据进行转换、挖掘及定制等操作，分别进行说明：①数据转换：将从地区客票中心的车务段数据库服务器的数据库获取的数据按照不同业务要求，转换成多种数据格式，满足不同的业务要求，并对错误、不一致的数据进行清洗和加工。②数据挖掘：通过对每个数据的定性和定量分析，从大量数据中寻找其规律的技术叫做数据挖掘技术。客票采集和分析系统存在着海量的历史数据，数据挖掘技术不仅能对历史数据进行查询和遍历，并且能够找出历史数据之间的潜在联系，分析客流，指明营销方向，帮助制定营销策略，给铁路决策层在运输生产决策中提供必要的建议。③数据定制：可以按照特定用户的特殊要求，把数据库中的相关数据进行抽取、分类和汇总，并存入特定数据表中，根据需要以Excel电子表格的形式提供给用户。

3.3用户服务处理模块用户服务处理模块主要用于资料分发，客票数据采集和分析系统给不同需求的用户提供齐全的客票信息和数据分类对比电子表格，用户服务处理模块将这些信息定时分发给需要的人，比如：站长、客运值班员等。

4结束语

第3篇

硬件系统为:监控层、数据采集层、现场层〔2〕。

1．1监控层监控层采用总线形网络结构，在总线上挂接的设备主要有:数据采集I/O服务器、IH数据库服务器、关系型数据库服务器、APP服务器、Web服务器、调度操作站、工程师站等。1)数据采集I/O服务器，分为电力、动力、水三个系统，采用冗余配置，服务器安装IFIX5．1组态软件，在IFIX5．1的SCU中配置IGS、PFC、IEC驱动同数据采集站通讯，具体通讯方式如下，采集西门子PLC系统数据的，则以工业太网为桥梁，IFIX通过IGS驱动与其实现实时通讯;采用RTU采集系统数据的，IFIX通过PFC驱动与其实现实时通讯;采集申瑞765G综保管理机系统数据的，IFIX通过IEC驱动与其实现实时通讯。2)GPRS服务器，能控无线远传站通过柜内S7－200、SINAUTMD720－3GPRS调制解调器、天线和GPRS通信管理软件SINAUTMICROSC构成GPRS网络，最后通过OPC驱动与能控中心GPRS服务器实现通讯连接。3)IH数据库服务器，IH数据库服务器上安装GE公司的ProficyiHistorian实时数据库软件，IH通过配置Collector采集器软件从数据采集I/O服务器抓取数据，采集的数据周期以秒、分为单位刷新。4)关系型数据库服务器，安装有DB2和Oracle两种关系型数据库软件，完成数据的长期归档以及数据的压缩和数据的备份。5)APP服务器和Web服务器，APP服务器运行基础能源管理模块，Web服务器用于Web。6)调度操作站，通过调度操作站能控调度可以对能控系统的相关数据及设备的运行状态进行监控，而且能够通过B/S(客户端/服务器)的方式访问APP服务器的基础能源管理模块，使用自己权限所分配的功能。

1．2数据采集层数据采集层有124个数据采集站，包括西门子S7－300PLC82套、通讯柜41套，力控RTU(Remo-teTermialUite，远程终端单元)46套，覆盖工源厂区、东风厂区、南芬露天矿及歪矿，地域分散。同监控系统的通讯方式有有线方式和无线方式。其中有兴安解冻库、四水源等十个站点敷设电缆困难且条件恶劣，增加了建设和维护的成本，因此采用GPRS无线通信方式;有线方式采用环网加星形的网络结构，整个环网有7个主站，从EMS01到EMS07分别是能源中心、焦化仪表室、朱庄柜、六高炉主控室、4#转炉机房、维检中心、冷轧机房，环网将7个主站点连接起来，再由主站点以星形的结构向外辐射用于连接所有的数据采集站。

1．3现场层1)本钢现场层的设备现状现场一次仪表有电磁流量计、超声波流量计、差压流量计、涡街流量计，提供4～20mA标准信号，PLC和DCS系统有西门子S7、施耐德、AB、ABB、浙大中控JP－300XP、Honeywellpks系统HoneywellHC900等系统，电力综保系统有北京四方、上海申瑞、清华紫光等厂家，电度表有湖南威胜和黑龙江龙电两种型号。信号类型分为计量点和工艺点，计量点只对数据进行采集;工艺点包括数据的采集和设备的控制。2)采集方案的确定针对现场设备的实际情况确定了如下的数据采集方案:(1)RTU采集方式，此种方式只对数据进行采集。对于支持RS485协议的超声波流量计，例如本溪新宇超声波流量计，将该表通过串口通讯线接入到RTU的串口，通道协议选择ModbusMaster，端口选择Serial。采集原有西门子PLC系统数据的，将系统通过以太网方式接入RTU的网口，RTU配置软件中通道协议选取西门子PLC，通讯口:TCPClient，IP地址为所通讯的PLC地址，端口号为102。原有系统为DCS，例如十一加的HoneywellHC900，将系统通过以太网方式接入RTU的网口，通道协议为ModbusTCP，通讯口:TCPClient，IP地址为所通讯的DCS地址，端口号为502。浙大中控的JP－300XP系统，如发电厂32号机和氧气厂4#制氧机。将系统通过以太网方式接入RTU的网口，是通过OPC协议进行数据采集，在原有系统中安装OPCTunnellerServer，然后在另外一台计算机上使用OPCTunneller驱动进行采集，在RTU中通道协议中选择OpcTunnellerMaster。与电力综保通讯，将系统通过以太网方式接入RTU的网口，通道协议选择IEC104，需要说明的是采用此种通信方式的只有清华紫光和北京四方，不包括上海申瑞，申瑞通过综保管理机765G直接同电力服务器通信。智能电表的数据采集，威胜龙电两种电表都有网口，同威胜的电能采集器通讯，采集器通过以太网方式接入RTU的网口，通道协议选择威胜WFET2000s，IP地址为电能采集器端设置的IP，端口号为9001。(2)I/O采集方式，数据的采集和设备的控制。计量点，新增的或原有的需接入能管中心的点通过仪表提供4～20mA标准信号接入到PLC柜或I/O柜的AI输入模板。工艺点，例如燃气厂五加、六加、九加等煤气加压站既有采集数据的要求，还有对现场阀门进行控制要求的，系统则通过在原有西门子S7－300或400系统中加装CP模板的方式进行数据的采集和设备的控制。新增加的CP模块规划的IP地址同原有系统的IP地址不在同一个网段，为两个独立的网段，可以实现数据采集控制功能和对病毒隔离功能。

2系统功能

本钢能管中心数据采集监控系统从试运行以来，实现了以下功能:1)数据采集设备控制对电力系统的电量、电流、电压、功率、功率因数等，燃气系统、热电系统、氧氮氩系统的流量、压力、温度、柜位等，水系统的流量、压力、水位等进行采集，对电力系统的开关、燃气系统的加压机、水系统的泵等重要能源设备进行远方操作控制和实时调整。2)报警功能监控中心汇聚大量的数据，系统根据故障程度和重要性，设置了重故障、轻故障和事件三种报警类型，提示调度员进行相应的操作。3)操作记录对重要设备的操作进行记录，当故障发生后可以为事故的原因分析提供依据。4)数据处理包括流量累计、计算煤气热值、多个数据之和或差等，例如混合煤气的和。5)数据归档对于短时归档数据，提供过程曲线显示;长时归档数据，可按信号内容、起/讫时间、时间粒度(分钟/小时/天/月)、数值类型(Min/Max/Ave/Sum)进行历史数据查询，并可进行曲线显示。6)Web用户可通过IE浏览器来访问Web服务器，获取现场设备的状态和运行参数，在Web画面上不能进行参数设定等操作。内容包括各系统的工艺画面，重要的报警画面。

3结论