Lustre文件系统的地理环境构建范文

本站小编为你精心准备了Lustre文件系统的地理环境构建参考范文，愿这些范文能点燃您思维的火花，激发您的写作灵感。欢迎深入阅读并收藏。

1lustre文件系统

Lustre文件系统是ClusterFileSystems公司开发的基于对象的网络存储文件系统，它所关注的焦点是集群文件系统的性能（performance）和可伸缩性（scalability）[6]。Lustre将系统中的节点按功能划分为3种：Client、OST(objectstoragetargets)和MDS(meta-dataservice（)如图1）。物理上任一节点都可充当其中一种或多种角色，如一个节点既可以是Client又可以是OST。Lustre设计采用客户／服务器模式，即将Client的一次I／O请求分散到多个OST，各OST节点上的服务进程并行访问本地磁盘后，再将数据返回。所有并行文件的管理由MDS节点承担。Lustre是公开源码的文件系统，遵循GNU的GPL协议，它具有以下优势：1）分布式元数据。NAS文件系统使用单一的或者集中的文件服务器作为元数据管理器，而一些SAN文件系统采用的是集中的锁管理器，这些方式都会使元数据的管理成为一个瓶颈问题。Lustre文件系统没有其他存储系统的元数据管理器瓶颈问题，它可以将MDS分离出来，将90%左右的元数据管理工作交给OST完成，并且该文件系统可以支持多个OST。在Lustre1.4.2以前，最多可以支持200个OST；Lustre1.4.2就已经可以支持512个OST。良好的元数据管理手段，也使得系统的性能得到了很大的提升。2）智能化。因为将传统文件系统中的存储管理组件下放到OST中，使得OST具有了强大的管理功能，可以简化系统存储管理的任务和数据优化分布的任务。新增的存储容量可以自动合并到存储系统中，将负载分布到多个智能的OST中，并用网络和软件将它们有机结合起来，消除了不可扩展问题。如果Lustre文件系统没有足够的存储处理能力，可以增加OST，确保线性增加性能。3）并行数据访问。每个用户通过专门的对象协议与元数据服务器和OSS进行通信，从而读取Lustre中的文件，并允许从多个OST中进行并行读写，极大地提高了单个节点用户的吞吐率，同时用户访问文件系统中的数据也相当于处理本地磁盘中的数据一样方便。从整体上来说，单个Lustre文件系统支持的用户数量已有数千个。4）安全。传统的存储系统通常依赖于Client的身份认证和私有的网络确保系统安全。基于对象存储的Lustre文件系统在每个级别都提供安全功能，主要包括存储设备的身份认证、计算结点的身份认证、计算结点命令的身份认证、所有命令的完整性检查、基于IPSec的私有数据和命令等。这些安全级别可以确保用户使用更高效、更易获得的网络，如以太网等。

2分布式地理环境的构成方式

虚拟地理环境中主要包含了地形数据和纹理数据等。这些数据是所有其他内容进行显示、交互、操作的基础。当需要展示的地形环境范围较大时，这部分基础数据将占据很大一部分物理存储空间。现今，对地形、纹理的现势性要求越来越高，将这部分数据进行分布式存储，就显得十分必要。根据分布式虚拟地理环境的功能需求，将其主要划分为如图2所示的4个模块。1）总体控制模块。分布式地理环境可以根据实际应用情况，调度数据的存储、显示以及其他一些功能，保证分布在不同位置的服务端与客户端能够协调一致。一旦出现不一致或其他意外情况，也可以由这一模块进行处理。2）数据存储模块。该部分主要应用Lustre文件系统对各种数据文件进行存储。通过采用该文件系统进行数据的存储，可以充分利用网络的开放性，以及Lustre文件系统的安全和高效性，极大地方便了对虚拟地理环境的管理和使用。3）数据显示模块。数据显示模块主要侧重于为用户提供虚拟地理环境的显示、操作等功能，并可根据用户的不同需求进行定制。4）其他功能模块。根据用户的不同需求，还可以设计其他额外的功能，如数据的分析、统计、查询等。在该分布式地理环境中，Lustre文件系统主要完成分布式地理环境中数据存储模块的工作，并以该文件系统为基础，负责所有地理数据的输入输出、数据调度管理、响应客户端的访问请求等。其工作原理主要是在数据存储模块中启动一个数据响应服务，当客户端的数据显示模块向元数据服务器提出数据请求时，元数据服务器在存储服务器中查询数据，并控制多台存储服务器同时向客户端发送数据，完成数据请求。以该方式提供数据服务的主要优势有以下2点：1）数据传输安全。数据的请求和发送都是通过元数据服务器控制完成实现的，使得数据发送和传输过程有一定的稳定性保障，当部分存储服务器出现问题时，还可以通过元数据服务器控制启动备份的存储服务器来完成数据传输工作。2）工作效率高。元数据服务器只负责数据请求响应，而数据的发送是由多台存储服务器完成的，这样可以保证高效率地完成多用户的数据请求过程，而不影响数据发送进程，提高了工作效率。

3Lustre文件系统实验环境

系统环境：3节点架构，1台客户端（CLS），2台元数据服务器（MDS）（其中1台作为备份），2台对象存储服务器（OSS），设置1台作为总控制端（如图3）操作系统：3台机器操作系统统一（RedHatEnterpriseLinuxAS4UP2，2.6.9-22.EL），选择完全安装。安装Lustre相关rpm包，本次测试安装1.60版本，严格按照文件系统规定，依次安装文件。模块配置：编修grub.conf文件，启动Lustre补丁内核。可以看到，客户端已经挂载了Lustre文件系统，也可以同样用OS服务器挂载。通过客户端上挂载的文件系统创建一个文件夹，并在OSS服务器上挂载后也能看见相同的文件。这些操作都可以通过控制端统一完成。

4结语

本文分析了目前分布式地理环境发展的一些不足，通过总结Lustre文件系统的优势，将该文件系统引入到分布式地理环境中。应用Lustre文件系统，不但可以在系统兼容性方面带来更多便利，而且该文件系统本身所具备的备份机制和安全机制，也极大地提高了整个分布式地理环境数据存储和数据服务的稳定性。另外，Lustre文件系统以开源的Linux操作系统为平台开发，主要以网络应用为基础，在未来也必将有更加广泛的应用前景。从某种角度上看，Lustre在技术发展上也存在着一些不足，主要体现在对Windows平台的兼容性方面。Lustre文件系统从诞生开始就只应用在Linux平台上，而目前的广大用户还是以Windows操作系统为主，因此将已开发的软件平台进行整合还存在一定的难度。但由于Linux无论在高性能计算还是在通用事务处理领域的发展都有明显的上升趋势，在未来的应用中，Lustre文件系统仍然有很好的发展前景。

作者：宋龙 李延杰 韩锦宁 单位：65014部队 61206部队