分布式站点间的跨域文件系统

分布式站点间的跨域文件系统

论文摘要

高能物理科学研究大多依托固定站点大科学装置,拥有海量实验数据。因此数据计算往往基于异地站点的海量实验数据。针对这些海量的分布式实验数据,传统的高能物理计算模式中采用了网格的方式进行跨域数据共享,但资源利用率低、响应时间长以及部署维护困难等问题,限制了网格技术在中小型站点间的数据共享。针对高能物理计算环境中,中小型站点间的数据共享问题,以Streaming&Cache为核心思想,设计一种远程文件系统,提出远程数据访问本地化,提供高实时性数据访问模式,实现基于HTTP协议的按需数据传输与管理,拥有数据块散列存储和文件统一化视图管理。与高能物理计算中常用分布式文件系统EOS、Lustre、GlusterFS相比,具有广域网可用性、网络时延不敏感性和高性能数据访问模式。

论文目录

  • 1 引言
  • 2 基于流式传输与缓存的新型文件系统
  •   2.1 传统高能物理数据共享及管理系统
  •   2.2 流式传输与缓存 (Streaming&Cache)
  •   2.3 跨域文件系统中的流式传输与缓存
  • 3 跨域文件系统设计与实现
  •   3.1 缓存服务CacheD
  •     3.1.1 数据块散列
  •     3.1.2 缓存替换策略
  •   3.2 传输服务TransferD
  •   3.3 用户访问接口File Plugin
  • 4 系统测试
  •   4.1 测试环境
  •   4.2 系统读性能测试
  •   4.3 网络时延抖动下系统稳定性测试
  •   4.4 高能物理分析作业——事例筛选测试
  • 5 结束语
  • 文章来源

    类型: 期刊论文

    作者: 徐琪,王聪,程耀东,陈刚

    关键词: 高能物理实验数据,跨域访问,远程文件系统,缓存,高性能

    来源: 计算机工程与应用 2019年08期

    年度: 2019

    分类: 信息科技,基础科学

    专业: 物理学

    单位: 中国科学院高能物理研究所,中国科学院大学

    基金: 国家重点研发计划项目(No.2016YFB1000605),国家自然科学基金(No.11575223)

    分类号: O572

    页码: 1-8+16

    总页数: 9

    文件大小: 1788K

    下载量: 150

    相关论文文献

    • [1].执行信息化改革的跨域协执机制探索[J]. 人民司法 2019(22)
    • [2].农村跨域水环境污染治理的思路探析[J]. 现代农业科技 2020(03)
    • [3].跨域治理下的扶贫协作何以优化?——基于粤桂扶贫协作的图景变迁[J]. 兰州学刊 2020(03)
    • [4].《大数据时代》:影像艺术与科技产业的跨域交流[J]. 当代电视 2020(05)
    • [5].跨域治理中的政府行为及其互动机制研究——基于广佛地铁建设和水污染治理的案例比较[J]. 理论探讨 2020(02)
    • [6].云——边缘系统中跨域大数据作业调度技术研究[J]. 计算机应用研究 2020(03)
    • [7].世界三大湾区的跨域治理机构:模式分类与比较分析[J]. 公共行政评论 2020(02)
    • [8].数据生命周期视角下政府跨域协作数据治理及其运行逻辑[J]. 东北大学学报(社会科学版) 2020(03)
    • [9].合作型环境治理:跨域生态环境治理中的地方政府合作[J]. 青海社会科学 2020(02)
    • [10].多元共治与府际协同:京津冀流域跨域治理路径选择——以大清河为例[J]. 黑龙江生态工程职业学院学报 2020(04)
    • [11].浅谈电影摄制跨域协同制作技术要求[J]. 现代电影技术 2020(07)
    • [12].跨域突发公共卫生事件机理分析与应对机制设计[J]. 四川大学学报(哲学社会科学版) 2020(04)
    • [13].聚合课程在跨域“智力助农”中的应用[J]. 创新创业理论研究与实践 2020(15)
    • [14].基于数据护照的跨域传输控制方法设计[J]. 通信技术 2020(08)
    • [15].长三角跨域医疗信息平台的构建与应用探究[J]. 智能计算机与应用 2020(05)
    • [16].跨域治理视角下连片特困地区公共文化服务研究[J]. 哈尔滨师范大学社会科学学报 2020(04)
    • [17].环境跨域治理:破解我国环境碎片化治理之道——研究现状及展望[J]. 治理现代化研究 2020(06)
    • [18].我国跨域治理研究:生成逻辑、机制及路径[J]. 行政论坛 2019(01)
    • [19].我国跨域治理研究述评[J]. 现代管理科学 2019(08)
    • [20].沪苏津跨域立案“直通车”来了[J]. 上海人大月刊 2019(09)
    • [21].雾霾污染跨域防治中府际协作的困境与突破[J]. 社会科学研究 2018(05)
    • [22].面向业务的跨域互联风险评估[J]. 计算机应用 2017(S1)
    • [23].构建京津冀跨域突发事件应急联动的有效机制[J]. 中国应急救援 2017(05)
    • [24].云环境下面向跨域作业的调度方法[J]. 电子学报 2017(10)
    • [25].我国跨域应急管理的现状与机遇[J]. 城市与减灾 2016(01)
    • [26].空气污染跨域治理中的利益协调研究[J]. 南京社会科学 2016(04)
    • [27].民事诉讼中的跨域立案研究[J]. 商 2016(12)
    • [28].基于跨域治理的船舶超载防治研究[J]. 世界海运 2015(01)
    • [29].美军“跨域协同”作战思想探析[J]. 国防 2015(02)
    • [30].跨域治理的概念谱系与研究模型[J]. 北京行政学院学报 2015(04)

    标签:;  ;  ;  ;  ;  

    分布式站点间的跨域文件系统
    下载Doc文档

    猜你喜欢