Kong AI Gatewayを用いたLLM実行管理
講演内容
OpenAI,Anthropic,Googleなど、現在多数のLLMがあります。 それぞれLLMのユーザや実行量の管理を行うことは非常に難しく、統制が各社の課題になっています。 そこでKong AI Gatewayをもちいて包括的に管理をする構成を構築する例を紹介します。
・全社的にAIを導入したが、管理ができない
・誰がどれだけ使っているかを知りたい
といった問題を抱えている方に対しての解決策を示します。
登壇者
Profile
Kongを活用したAPIマネジメント・AI Gatewayの導入支援を専門とし、API基盤の設計・構築から運用まで幅広く支援。
認証・アクセス制御・ガバナンスなどのエンタープライズ向けAPI活用に携わるほか、マイクロサービスや生成AI基盤に関する技術検証・情報発信にも取り組んでいる。