DeepSeekと北京大学が公開した推論高速化フレームワーク
DeepSeekと北京大学は、投機的デコーディングを高度化した推論フレームワーク「DSpark」を公開した。DeepSeek-V4の推論速度を最大85%向上させ、スループットを51%から400%増加させるという。これは、小さなモデルでドラフトトークンを生成し、大きなモデルで検証する投機的デコーディングのアイデアを、GPU負荷に応じて検証トークン数を調整する信頼度スケジューラなどで最適化したものだ。
「セミパラレル」方式で速度と精度を両立
DSparkは、並列型のDFlashと逐次型のEagleの利点を組み合わせた「セミパラレル」方式を採用する。重い並列ヘッドで一気にドラフトを作成し、小さなマルコフヘッドによる逐次ステップで精度を調整する。これにより、単純な並列化では失われがちな精度を維持しつつ、大幅な速度向上を実現している。
推論コスト削減がもたらすインパクト
50 TPSで約5倍安価になるという試算も示されており、大規模言語モデルの推論コストを大幅に削減できる。あわせて、学習・評価用のフルスタックコードベース「DeepSpec」がMITライセンスでオープンソース化されたことで、業界全体の推論最適化が加速する可能性がある。AIのインテリジェンスが低価格化すれば、これまでコスト面で導入が難しかったアプリケーションや地域にも、高性能なAIが届きやすくなる。