北京焱融科技存储架构师,毕业于华中科技大学,曾就职于IBM和金山云。2016年加入北京焱融科技,先后负责私有云存储和ServerSAN的产品设计和研发。目前专注在容器存储和高性能分布式存储领域,主要负责YRCloudFile的功能研发和性能调优工作。拥有多年的分布式存储研发经验,对分布式存储的架构设计和优化有深入理解,尤其是在海量文件存储方面,做了大量的优化工作。
北京焱融科技存储架构师,毕业于华中科技大学,曾就职于IBM和金山云。2016年加入北京焱融科技,先后负责私有云存储和ServerSAN的产品设计和研发。目前专注在容器存储和高性能分布式存储领域,主要负责YRCloudFile的功能研发和性能调优工作。拥有多年的分布式存储研发经验,对分布式存储的架构设计和优化有深入理解,尤其是在海量文件存储方面,做了大量的优化工作。
AI/ML/DL发展迅猛,GPU的各种加速方式以及算法的优化,都将性能的瓶颈点转移到了AI架构中的存储系统。在AI场景下存储访问的几个特点:1. 共享访问,多个节点会访问同一批数据;2. 读多、写少,文件会被反复读取进行训练;3. 文件大小越来越小,集中在几KB到几MB之间;4. 文件数量越来越多,会多达几亿到几十亿,甚至到上百亿。这些对存储系统提出了巨大的挑战,首先要支持文件共享访问,其次性能要好,尤其是读的性能,最后要能支撑海量的小文件。本次演讲将分享面对这些挑战,分布式文件存储系统的优化思路和方案设计。
听众受益: