OpenAI、児童虐待画像の検出モデルをModeration APIで無償提供
OpenAIModeration APIコンテンツ審査APITrust & Safety
OpenAIがAPIチェンジログで、児童性的虐待画像(CSAM)の検出を支援する専用モデルの提供を告知した。承認された組織が /v1/moderations から無償で利用でき、人間のレビュー担当者が確認すべき画像の優先順位付けに使う。AI生成と疑われるものを示す信号が別途返る。
何が発表されたか
- 2026年11月16日付のOpenAI APIチェンジログで、画像判定用のモデル
omni-moderation-csam-latestが告知された。エンドポイントは既存のPOST /v1/moderations。 - 用途は、人間のレビュー担当者が確認すべき画像の優先順位付けを支援することと位置づけられている。
- 応答には2つのカテゴリが返る。CSAMの疑いを示す
likely-csamと、AI生成の疑いを示すlikely-csam/gen-aiで、それぞれに真偽値と0〜1のスコアが付く。 - ガイドは、スコアが較正された確率ではなく0.5が万能のしきい値でもないこと、フラグが立っても当該画像がCSAMであると確定するものではないこと、当局への自動通報は行わないことを明記している。
- 汎用の
omni-moderation-latestとは別モデルで、汎用側のsexual/minorsカテゴリはテキストのみが対象。
利用条件
- 利用できるのは承認された組織のみで、専用の申請フォームを通じて申し込む。
- 利用料は無償。
- 入力は静止画1枚(最大20MB)で、HTTP(S) URLまたはbase64のデータURLで渡す。インラインモデレーションとBatch APIには非対応。
実務への影響
- 投稿型サービスやCtoCのEC、コミュニティ機能を持つサイトを受託している場合、画像投稿まわりの審査フローは常に論点になる。選択肢として押さえておく価値がある。
- ただし「承認組織のみ・申請制」であり、案件が決まってから申し込んでも間に合わない可能性が高い。導入を前提にするなら、審査期間を見込んだスケジュールを組む必要がある。
- 設計上の注意として、自動判定だけで完結させる運用はガイドの想定から外れる。人間のレビュー工程と、誤検知時の復旧手順をセットで見積もりに含めたい。
- 汎用モデレーションとは別エンドポイント扱いのため、既存の
omni-moderation-latestを組み込んでいても自動的にこの判定が有効になるわけではない。
