ソニーグループにおける生成AIの民主化：50,000人のAIユーザーを支えるマルチクラウドアーキテクチャ
講演内容
本講演では、ソニーグループが推進する「AI Driven Company」への変革と、全社的な生成AI民主化の取り組みについて紹介します。現在50,000人を超えるアクティブユーザーが利用する企業向けLLMプラットフォームの構築と運用を通じて得た知見を共有します。
特に、マルチクラウド環境における大規模AIシステムの設計・構築において直面した課題と、それを解決するためのアーキテクチャ選択について詳述します。月間300万回以上、日次でも15万回の推論処理を安定して処理するためのインフラ最適化や、280を超えるビジネスPoCを支える柔軟なプラットフォーム設計の秘訣に迫ります。
さらに、AIシステムの信頼性と安全性を確保するためのObservabilityとセキュリティ戦略についても言及し、法務、セキュリティ、データプライバシー、AIエシックスを包括したガードレールの実装方法を解説します。
登壇者
ソニーグループ株式会社
デジタル&テクノロジープラットフォーム
AI Acceleration部門・シニアゼネラルマネージャー
大場 正博 氏
Profile
2002年 ソニー株式会社入社、情報システム企画として経営情報、CIOスタッフ、B2E改革を担当。ITアーキテクトとしてソニー欧州（英国）に赴任の後、ワークスタイル改革およびグループ構造改革を担当。2019年よりCIOオフィスGM、2021年よりグループガバナンスGMを経て、2023年よりGenerative AIを推進。