Please wait a minute...
 
主管单位:广东省科学技术厅
主办单位:广东省科技合作研究促进中心
编辑出版:《电脑与电信》编辑部
ISSN 1008-6609 CN 44-1606/TN
邮发代号:46-95
国内发行:广东省报刊发行局
《电脑与电信》唯一官方网站。
电脑与电信
  算法研究 本期目录 | 过刊浏览 | 高级检索 |
一种细粒度均衡的新型分布式文件放置算法
刘硕,辛刚
中国航空工业集团公司西安航空计算技术研究所
A Fine-grained Load Balanced File Placement Algorithm for Distributed Storage Systems
LIU Shuo,XIN Gang
AVIC Computing Technique Research Institute
全文: PDF(0 KB)  
输出: BibTeX | EndNote (RIS)      
摘要 为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。
服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
刘硕
辛刚
关键词 放置算法分布式文件存储系统文件访问热度负载均衡细粒度相似    
Abstract:To gain a balanced distribution of access load, existing distributed storage systems often make file placement decisions based on popularity information. However, on one hand, popularity information is not known at the moment when the file is initially stored in the system. Therefore, placement optimization algorithms which depend on global popularity information are not practical. On the other hand, popularity information changes over time. File storage locations are required to make frequent adjustment,resulting in high data migration cost. In this paper, a new kind of distributed file placement algorithm is proposed, which does not depend on popularity information. It makes use of the correlation between the file's popularity and its creation time. Through a fine-grained similarity of different storage nodes in data amount created in each time interval, the algorithm achieves ideal load balance.Moreover, the algorithm is very practical and causes little migration cost, since it only depends on file creation time information,which is known and static. Experimental results show that the algorithm achieves a more balanced distribution of access load compared to the random placement algorithm adopted in HDFS.
Key wordsplacement algorithm    distributed file storage system    file popularity    load balance    fine-grained similarity
年卷期日期: 2018-02-10     
ZTFLH:  TP333  
作者简介: 刘硕(1978-),男,四川内江人,硕士,高级工程师,研究方向为航空电子系统设计与应用、分布式存储、计算机硬件设计。
引用本文:   
刘硕, 辛刚. 一种细粒度均衡的新型分布式文件放置算法[J]. 电脑与电信, .
LIU Shuo , XIN Gang. A Fine-grained Load Balanced File Placement Algorithm for Distributed Storage Systems. Computer & Telecommunication, 2018, 1(1-2): 41-43.
链接本文:  
http://www.computertelecom.com.cn/CN/  或          http://www.computertelecom.com.cn/CN/Y2018/V1/I1-2/41
[1] 方军 丘华. 消息计费在线接入平台负载均衡项目的解决方案研究[J]. 电脑与电信, 2021, 1(7): 40-.
[2] 杨战武. 浅谈企业网中VRRP+MSTP 协议的应用[J]. 电脑与电信, 2016, 1(1-2): 62-64.
[3] 刘晔 沈潇军 刘摩西. 基于云模式的负载均衡策略研究[J]. , 2011, 1(12): 0-0.
[4] 高 宁. IBM WAS ND 一种典型集群架构的设计和实现[J]. , 2011, 1(04): 0-0.
[5] 赵 阳. 一个企业资源综合管理系统的研究设计与实现[J]. , 2010, 1(12): 0-0.
[6] 郑志娴 曾凌静. 基于LVS集群的负载均衡应用[J]. , 2010, 1(10): 0-0.
[7] 陈 君. 缓存和通道联合技术的应用[J]. , 2010, 1(05): 0-0.
No Suggested Reading articles found!
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
  Copyright © 电脑与电信 All Rights Reserved.
地址:广州市连新路171号广东国际科技中心 邮编:510033
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn
粤ICP备05080322号-4