搜索到63篇“ PVFS“的相关文章
一种用PVFS替代Hadoop存储模块的方法
一种用PVFS替代HADOOP存储模块的方法,使用并行虚拟文件系统PVFS代替HADOOP的分布式文件系统HDFS模块,本发明实现了从HADOOP到PVFS的连接,主要包括三个模块:PVFS程序接口、HADOOP‑PVF...
唐杰包念原武港山
文献传递
面向大规模数据处理的PVFS文件系统改进与应用研究
在大规模数据处理中,文件系统是非常重要的环节之一。文件系统的性能直接影响到应用的性能和处理效率。随着高性能和分布式计算架构的发展,并行文件系统受到了越来越多的关注和应用,其中,PVFS作为典型的并行文件系统,被广泛应用于...
张晓宇
关键词:并行文件系统数据迁移缓存管理
PVFS在Hadoop中的应用及改进研究
当今科学计算的数据规模正在不断扩大,高性能计算也逐渐受到了人们的重视,人们对分布式计算框架的需求与日俱增。在高性能计算的背景下,一方面对分布式计算框架的运算速度的要求在不断增长,另一方面对计算框架底层的分布式文件系统读写...
包念原
关键词:分布式文件系统HADOOPPVFS并行文件系统容错
文献传递
一种用PVFS替代Hadoop存储模块的方法
一种用PVFS替代HADOOP存储模块的方法,使用并行虚拟文件系统PVFS代替HADOOP的分布式文件系统HDFS模块,本发明实现了从HADOOP到PVFS的连接,主要包括三个模块:PVFS程序接口、HADOOP-PVF...
唐杰包念原武港山
文献传递
一种云计算系统的瓦片数据组织方法被引量:1
2015年
针对云计算系统中文件数据存储效率较低的问题,文章以Hadoop云计算系统为研究对象,改进了Hadoop-pvfs分布式系统,以提高Hadoop底层文件系统的存储效率,同时使得数据的更新可以在文件的任何位置;并提出一种多层次、位置相关的瓦片数据组织方法。实验结果表明,上述方法相对于Hadoop瓦片服务器系统吞吐效率有较大提高,可以为建设高性能、海量存储的GIS数据库服务系统提供参考。
何涛孙忠芳葛亮
关键词:HADOOPPVFS云计算数据组织
一种基于副本的PVFS负载均衡机制
并行虚拟文件系统PVFS的数据服务器缺少负载均衡机制,因此存在热点服务器,降低了系统整体性能.提出了一种基于副本的负载均衡机制,通过文件数据备份的方式进行负载迁移,以解决这一瓶颈问题.其通过选择备份文件时权衡文件的热度与...
吴一波赵英杰肖侬刘波
关键词:负载均衡副本
文献传递
Research and implementation of cooperative cache for PVFS
2008年
At present, there are many effective ways to achieve high performance in cluster system storage management, including server-end disk, server-end caching, local caching and cooperative caching. The cooperative caching mechanism shares caches among different clients so as to avoid expensive disk access costs and to improve overall throughput of cluster system. In this paper, a Single Copy Cooperative Cache model is proposed together with block lookup algorithm, block replacement algorithm and the consistency algorithm based on the model. Meanwhile, the prototype system of the model is implemented in PVFS file system. Finally, the performance of this system is tested in InfiniBand Framework, the result of which shows that in contrast to the original PVFS system, read performance of PVFS file system is improved by about two times, while write performance is reduced by nearly ten percent.
伍卫国万群张虎刘思齐钱德沛
关键词:PVFSCONSISTENCY
PVFS在Linux集群上的应用研究被引量:2
2006年
分析了并行虚拟文件系统PVFS(Parallel Virtual File System)在可靠性方面存在的不足,设计并实现了PVFS 的高可用方案以及备份/恢复技术,增强了PVFS文件系统的容错能力和扩展能力。通过实例对PVFS在Linux集群上运行的性能进行了测试分析,探讨了PVFS在Linux集群上的应用部署方案。
张若洋吕杨
关键词:LINUX集群VIRTUALFILE
并行虚拟文件系统客户端缓存技术研究与实现
2006年
缓存技术是一种提高文件系统性能的关键性技术.在并行文件系统中实现客户端缓存,既能够减轻集群服务器系统的通信负载,又能有效地提高文件系统的性能.对PVFS并行文件系统进行了分析,建立了客户端缓存模型;就客户端缓存实现的一些关键性问题,如一致性、查找、替换等进行了研究,给出了解决方案,并在此基础上实现了一个客户端缓存的原型系统.测试结果表明,加入缓存后,PVFS整体性能有明显的提高.
伍卫国万群陈长虹方敏钱德沛
关键词:PVFS并行文件系统集群系统客户端缓存
PVFS元数据服务器的并行化设计与实现被引量:2
2006年
PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。
罗秋明欧阳凯
关键词:并行文件系统PVFS元数据服务器并行化可扩展

相关作者

罗秋明
作品数:92被引量:66H指数:4
供职机构:深圳大学
研究主题:隐私保护 遍历 存储介质 查询 函数
徐婕
作品数:16被引量:45H指数:3
供职机构:湖北大学计算机与信息工程学院
研究主题:PVFS 元数据管理 元数据 集群文件系统 容错策略
伍卫国
作品数:322被引量:788H指数:13
供职机构:西安交通大学
研究主题:数据中心 任务调度 缓存 分块 解压
张术
作品数:18被引量:15H指数:3
供职机构:第二军医大学
研究主题:DNA疫苗 疫苗 医药生物工程 病毒DNA 严重急性呼吸道综合征
孙树汉
作品数:362被引量:961H指数:16
供职机构:第二军医大学
研究主题:DNA疫苗 猪囊尾蚴 基因表达 核酸疫苗 膜联蛋白