ディープシーク、推論基盤「DeepInfer」をApache-2.0で公開　NVIDIAとAscendに対応

　ディープシークは10月20日、自社の大規模サービスを支える推論フレームワーク「DeepInfer」をオープンソースで公開した。ライセンスはApache License 2.0。公開先はGitHubで、同社は大規模な本番サービスを動かす推論基盤だと説明している。

　対応モデルはDeepSeek-V4.1-Flashで、初期設定のチェックポイントには、10月17日に公開したDeepSeek-V4.1-Flash-1017を使う。初回の実行時にHugging Faceのキャッシュへダウンロードする仕組みだ。

　対応するハードウェアは、NVIDIAのSM100世代のGPUと、ファーウェイのAI半導体（NPU）「Ascend 950」の2系統。ディープシークは9月30日にも、Ascend向けの基盤ソフトウェア群をオープンソースで公開している。

　搭載する主な機能は、アテンション部分のデータ並列（Attention DP）、MoE（専門家混合）モデルのエキスパート並列（EP）とその負荷分散を担うEPLB、非同期スケジューリング、バッチ不変推論、決定論的サンプリング、構造化出力など。ビルドにはLinux、GCC 13.0以上、Python 3.12が必要で、NVIDIA環境ではCUDA 13、Ascend環境ではCANN 9.2を使う。

　ただし、今回公開したのはオフライン推論までだ。完全な推論サービスに必要な要素として、KVキャッシュのシステム、Prefill（入力処理）とDecode（出力生成）の分離、データ並列レプリカ間の負荷分散の3点を挙げており、いずれも今回のリリースには含まれない。Prefill/Decodeの分離については、必要なエンジン機能の大半は実装済みだという。


　性能の測定は、Prefillで4基、Decodeで64基のSM100 GPUを使い、それぞれ1つのスケールアップドメイン内で行ったとしている。開発の経緯について、ディープシークは当初、主にvLLMを土台に構築し、SGLangとTensorRT-LLMからも着想を得たと説明している。