针对AI场景的存储优化方案

所属专题:AI技术应用与实践解决方案专场(厂商赞助)

嘉宾 : 张文涛 | 焱融科技存储架构师

会议室 : 二层 2号会议厅C

讲师介绍

专题演讲嘉宾:张文涛

焱融科技 存储架构师

北京焱融科技存储架构师,毕业于华中科技大学,曾就职于IBM和金山云。2016年加入北京焱融科技,先后负责私有云存储和ServerSAN的产品设计和研发。目前专注在容器存储和高性能分布式存储领域,主要负责YRCloudFile的功能研发和性能调优工作。拥有多年的分布式存储研发经验,对分布式存储的架构设计和优化有深入理解,尤其是在海量文件存储方面,做了大量的优化工作。

议题介绍

演讲:针对AI场景的存储优化方案

AI/ML/DL发展迅猛,GPU的各种加速方式以及算法的优化,都将性能的瓶颈点转移到了AI架构中的存储系统。在AI场景下存储访问的几个特点:1. 共享访问,多个节点会访问同一批数据;2. 读多、写少,文件会被反复读取进行训练;3. 文件大小越来越小,集中在几KB到几MB之间;4. 文件数量越来越多,会多达几亿到几十亿,甚至到上百亿。这些对存储系统提出了巨大的挑战,首先要支持文件共享访问,其次性能要好,尤其是读的性能,最后要能支撑海量的小文件。本次演讲将分享面对这些挑战,分布式文件存储系统的优化思路和方案设计。

听众受益:

  1. 了解AI场景下存储访问的难点挑战
  2. 了解海量文件存储的方式
  3. 了解小文件的性能提升优化思路
  4. 了解如何解决目录的访问热点问题

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
本网站图片存储由七牛云独家支持