气象数据共享服务网络技术论文范文

本站小编为你精心准备了气象数据共享服务网络技术论文参考范文，愿这些范文能点燃您思维的火花，激发您的写作灵感。欢迎深入阅读并收藏。

1P2P技术的解决方案

1.1P2P传输模型在P2P传输模型中，各个节点所起的作用是对等的，一个节点（同一时刻）既可以是资源的提供者，也可以是资源的需求者，如图2所示。P2P技术将各节点互相结合成一个网络，共享其间的带宽、共同处理其中的信息。

1.2P2P协议P2P技术发展至今，产生了许多不同的文件共享协议，根据拓扑结构的关系可分为4种形式。（1）以Napster为代表的中心化拓扑，所有节点的位置关系依然需要中心节点的参与，可扩展性差。（2）以Gnutella为代表的全分布式非结构化拓扑，是一种纯粹的P2P网络，网络节点可以随意扩展，但可靠性较差。（3）以KaZaA为代表的半分布式拓扑，具备一组超级节点提供服务，支持复杂查询但是可维护性不高。（4）以BitTorrent为代表的全分布式结构化拓扑，自适应节点的变化，可扩展性、可维护性好。气象宽带网是一个结构稳定的网络，为了在减小中心节点压力的同时保证网络系统的可扩展性和可维护性，最适合采用BitTorrent协议。另外，BitTorrent协议采用数据块传输机制，支持断点续传，这种方式能够保障数据的完整性。

1.3P2P技术的优缺点P2P技术可以充分利用气象宽带网MPLS－VPN的网状结构，将中心节点分发压力分摊到各个节点上，利用所有节点的参与实现数据从单数据源到多目标节点的共享，如图3所示，针对国家级节点A需要向若干省级节点（至少大于1）共享数据，国家级节点会将数据拆分成若干数据包，分别传输给广东、湖北、河北3个省级节点，然后这3个节点再分别进行交换传输直到数据包接收完整。然而，在气象通信业务中直接使用现有的互联网P2P软件存在着一些不足：一是节点的可控性、可管理性差，网络中各个节点随时可能退出系统，共享交换的信息随时可能被删除或者被终止共享；二是节点间传输不可控，容易造成骨干网拥塞、网络流量风暴等问题。

1.4解决方案（1）内容可靠性。为了解决传统P2P传输中内容可靠性的问题，需要融合CDN网络［8］的思想，CDN的全称是ContentDeliveryNetwork，即内容分发网络。其目的是通过在现有的网络中增加一层新的网络架构，将中心节点的内容到最接近用户且服务能力最好的节点（即超级节点），使用户可以从超级节点取得所需的内容，解决网络拥塞问题，提高用户访问节点的响应速度。为了将P2P和CDN有机融合，设计了一种基于节点－服务器的模型（P2SP）：在一个共享网络环境中，保证有足够的服务能力较好的超级节点已经具备初始数据源能力，然后与所有节点进行共享。如图4所示，当国家级节点A需要向各省提供共享数据时，首先选择向国家级节点B和服务能力较好的北京节点进行数据拷贝，生成BitTorrent协议中的数据源，然后由这3个数据源节点同时向其他省级节点服务，各省级节点会根据实际网络状态选择优先连接的节点。这样做的好处在于解决传统Bit－Torrent协议可靠性差的问题。（2）传输控制。为了解决P2P技术中节点间传输不可控的问题，需要在BitTorrent协议基础上，在软件中合理设置和调整节点间传输的最大上行和下行速率，避免网络流量风暴和拥塞问题。

2应用实现

2.1功能组成基于P2P的气象数据共享应用主要目标是实现从单一资料源节点以BitTorrent协议将资料共享给网络中所有的节点。从逻辑上由以下几部分构成：（1）数据服务器，保存需要共享气象数据的一份原始拷贝，又称为种子。该数据服务器和业务系统存在接口，实时获取并更新种子，气象数据可以按照指定的目录进行存储。每一组共享传输试用特定的P2P通信端口。（2）torrent文件，即种子文件，记载BitTorrent协议的相关信息。BitTorrent软件负责制作和生成种子文件，逻辑上把将要共享的数据文件重新编排，然后按照议约定的256KB大小进行切割，最后将编排和切割后的索引信息存放入torrent文件中。（3）Web服务器，用于存放和分发种子文件。（4）Tracker服务器，保存整个P2P网络信息的中心服务器。（5）节点客户端，负责定时或根据需要从Web服务器下载并解析torrent文件，实现P2P方式数据的共享传输。节点客户端通过与Tracker服务器以HTTP协议进行交互，能够得知网络中已下载完成的节点数以及正在下载的节点数，每个节点的IP地址和端口号等。节点客户端（A）与另一个节点客户端（B）建立TCP连接过程如下：A首先向B发送握手消息，等待B返回相同格式的握手反馈信息，达到完全握手状态。与此同时每个节点客户端都需要维护一张所有与自己连接节点的链表。

2.2应用流程基于P2SP的气象数据共享应用流程如下。（1）中心节点源数据制作并：中心节点从逻辑上包括数据服务器、Tracker服务器和WEB服务器，中心节点需要将所有需要共享的数据组织成torrent文件并到Web服务器上，如图5中流程①②③。（2）超级节点获取torrent文件并获得原始拷贝：中心节点临近的超级节点会首先获得种子文件和完整的共享数据从而成为超级节点。如图5中流程④⑤。（3）所有节点参与共享：各节点客户端会实时下载torrent文件并进行解析，然后从中心节点或超级节点下载数据片段并从其他节点获取余下的片段，如图5中流程⑥⑦⑧。

3业务试验和比较

考虑到实时气象业务的不可中断性，不可能在全国31个省级节点实际业务环境开展大规模的试验。针对P2SP技术在气象业务中应用的性能评估，采用网络仿真和小规模的比较试验成了最佳可供选择的测试和验证方法。

3.1可行性模拟验证PeerSim是意大利博洛尼亚大学开发的基于生物启发技术的P2P模拟器［16］。PeerSim由配置管理器、网络拓扑对象、结点对象、协议对象、动态对象、观察对象以及模拟引擎对象等组成。PeerSim是一个模拟P2P覆盖网络的软件，支持结构化和非结构化P2P网络模拟。通过BitTorrent协议的修改和部署，实现了基于P2P的仿真试验。使用PeerSim模拟BitTorrent协议从1个中心节点向固定的30个节点共享100000KB数据的表现情况。100000KB的文件将被拆分成391块（390×256KB＋160KB＝100000KB），限制上传、下载速率不超过100KB／s。在试验的时候，为了模拟P2SP场景，随机选取了部分节点作为超级节点。试验结果表明，在1800s内这些数据完成了全部节点的共享拷贝。经过10次的模拟，所获得的试验结果相似。

3.2性能比较试验为了评估该应用在实际业务中效率以及稳定性，搭建了一个利用中国气象局局域网环境的试验平台，有针对性的开展一系列试验。由于P2P需要多节点的参与，因此在试验中除中心节点外至少选择2个节点参与。现在国内通信传输业务比较多的使用AFD，它是一个自动的支持多协议的本地和远程数据收发软件，在气象通信系统中目前使用较多的还是AFD的FTP协议。AFD支持并发传输，因此在进行单数据源多目标节点分发时，会通过消耗中心节点的资源获得传输效率。为了使两种应用具备可比性，通过软件功能限制中心节点平均速率，并且AFD的传输并发数设置为1，P2SP传输应用也设置为1个TCP连接。（1）数据总量对于传输效率的影响。在测试中选择文件大小为1MB至300MB的数据文件。当子节点个数为4时，两种应用传输效率结果如图6，测试次数为3次，结果取平均值。当数据量逐步增大时，在中心节点同等网络流量条件（不超过1MB）下，当数据文件大于10MB时，P2P应用传输效率优于AFD应用。从理论上分析，P2P应用通过子节点之间的网络流量消耗换取了效率的提高。在数据总量较小时，由于P2P应用还存在节点相互握手和与Tracker服务的交互访问导致效率低于AFD应用，而当传输大文件时，P2P应用对提升多节点互传的效率起到明显的作用。（2）节点个数对于传输效率的影响。为了与实际业务场景更接近，进行大量小文件在不同节点数条件下的传输测试，选择单个文件大小在50B～150KB的总大小约28MB的1000个小文件，这些文件被打散分布在至少3级层次的目录中。子节点个数分别设定为2～6个，将3次测试的平均结果记录在图7中，可以看出：当节点个数逐步增大时，在中心节点相同网络流量条件下（不超过30KB），AFD应用的传输时间成线性增长，而P2P应用随节点增多产生了明显的加速效应。

3.3小规模业务试用通过可行性模拟验证和性能比较试验，基于P2P的气象数据共享应用可以满足单数据源多目标节点的气象数据共享需求，并且在不增加中心节点资源消耗的情况下随着数据量和目标节点增加，P2P的传输效率也随之提高。考虑实际业务应用效果，我们将该应用部署在气象宽带网的部分省级节点上开展小规模业务试用。选取北京、四川、河北、广东、湖北、内蒙等省级节点，在MPLS－VPN网络中使用PC服务器进行试验，操作系统为SUSELinux，选择实时卫星资料进行传输，各节点传输速率控制在1MB／s内，试验结果表明，全部数据在150s内完成了176MB文件在所有省级节点的传输。此外，在相同的网络环境下，我们还进行了气候模式数据文件的传输试验，模式数据量为2GB，在各节点传输速率控制在1MB／s内时，P2P用时20min完成了全部数据在6个省级节点的共享传输。而对于AFD应用，采用单线程方式，即使不限制中心节点传输速率，全部共享完所有数据耗时也超过了1h。利用P2P技术的一个附加好处是：不需要对共享的目录结构进行传输配置，因为P2P应用将所有目录信息都记录在torrent文件中，接收端的目录结构和发送端的目录结构在默认情况下会保持一致。而AFD应用必须逐一配置指定路径来保证资料传输到目标节点的对应目录，当目录数过大时容易导致中心节点配置错误。

4结论

为解决单一数据源节点向多目标节点共享传输气象资料业务的中心节点性能瓶颈，设计并实现了一种基于P2SP模式的气象数据共享应用，采用BitTorrent协议以充分利用各节点间的网络资源来提高传输效率。同时，通过节点流量控制来保证整个传输对网络带宽资源消耗的可控。在单源多目标共享场景中，消耗中心节点相同资源，基于P2P的应用效率高于传统的C／S模式，并且随着共享节点数的增多以及数据量的增大，效率的提升越明显。尽管基于P2P的气象数据共享应用在特定场景试验中取得了比较好的结果，但是气象实时数据共享传输业务是一个复杂场景的时效和安全要求均很高的业务，P2P的实际业务应用仍需要进行深入的研究和更广泛的试验，才有可能成为现有业务通信传输的一种有效补充。致谢：感谢北京市、湖北省、河北省、广东省、内蒙古自治区、四川省等气象信息相关单位对本文研究工作的大力支持。

作者：王甫棣王鹏何恒宏单位：国家气象信息中心通信台