Meta、約100万GPUへ拡張する巨大学習基盤「Prometheus」の内部構成を公開
MetaPrometheusデータセンターGPUinfrastructure
Metaがオハイオ州ニューアルバニーの学習専用拠点「Prometheus」の設計を公式ブログで公開した。第1フェーズで数十万GPUが稼働済みで、最終的に約100万GPU規模へ拡張する計画。自社のMuse系基盤モデルの学習に使われており、電力変動対策や障害率の削減手法まで踏み込んで解説している。
何が発表されたか
- 旧Webトラフィック用拠点を転用した、オハイオ州ニューアルバニーのギガワット級学習クラスタ「Prometheus」。第1フェーズが完成し、複数棟をまたいで数十万GPUが稼働済み。最終的に約100万GPUへ拡張する計画
- GPUプラットフォームは3世代併存。Catalina(NVIDIA GB200 NVL72)、Clemente(GB300 NVL72、GPUあたりHBM3e 288GB)、近日投入のSan Miguel(Vera Rubin NVL72)
- ラック電力はCatalinaが2ラック対で約120kW、Clementeが約135kW、San Miguelが170kW超。大規模同期処理で30〜40%の電力変動が生じるため、電力キャッピング基盤・バッテリー・電力会社との調整で吸収している
- ネットワークは棟内のイーサネットバックエンドファブリックが最大20,736GPUを接続し、集約層(BAG)が2km〜100km超の距離で棟間を接続
- 信頼性はgoodputが事前学習で85%超、Muse Wonderの強化学習で90%超。障害間平均時間は約47k GPU時間→54k GPU時間超に改善し、2025年半ばのピークから障害発生を99%削減したとしている
- 学習に使われたのはMuse系基盤モデル(Muse Wonderを含む)
実務への影響
直接の受託案件に関わる話ではないが、クライアントへの「なぜAIの単価が下がり続けるのか/下がらないのか」の説明材料として使える。注目したいのは電力と障害率の部分で、学習コストの大半がGPU価格ではなく歩留まりと電力制御にあることが具体的な数字で示された。goodput 85〜90%という水準は、裏を返せば1〜2割が無駄になっている前提でフロンティアモデルの価格が組まれているということ。モデル料金の値下げ予測を前提にした見積もりは、こうした物理制約が解けるかどうかに依存すると見ておきたい。
もう一点、GB200→GB300→Vera Rubinと世代が1年未満の間隔で併存している事実は、「今のモデル価格は来年には別物」というクライアント説明の裏づけになる。長期の固定価格で生成AI機能の運用保守を請ける契約は、モデル費用を別立てにしておくほうが安全。
補足
数値はすべてMetaの自社公開値で、第三者検証はない。
