AI向けのクラウドネイティブなストレージシステムの裏側

大規模な機械学習基盤を支える自社ストレージシステムの裏側について解説します。1500枚規模のアクセラレータを支える10PB規模のクラウドネイティブなストレージとして、少人数でApache Ozoneを運用してきました。 事業の成長に合わせて変わり続ける要件、増え続けるデータ量、世代ごとにますます高速化するアクセラレータ、故障するハードウェア、こういった問題に対してどのようにこの2年間対処してきたかを振り返ります