文献阅读Streaming File Transfer Optimization for Distributed Science Workflows
2021-06-01
随着计算技术和传感器技术的发展,科学应用产生了大量数据,数据需要以流的形式实时(或者几乎实时的)传递到高性能计算集群中进行处理,这需要可靠网络性能保证。然而,现有的数据迁移应用设计初衷都是针对批处理工作负载方式设计,它们的迁移配置(transfer configuration)一经设置就无法更改了。这严重限制了流媒体应用对于变化的数据集合网络条件的适应。本文通过,在运行时系统条件偏离初设配置的情况下,动态调整迁移配置的方法,提出FStream来对时间敏感的流媒体应用进行性能保证。