メジャーバージョンでAPIの非互換変更を確定

オープンソースのテンソルライブラリーggmlはバージョン1.0.0を公開し、非推奨となっていた公開インターフェースと旧来のDIAG_MASK演算を削除するとともに、モデルやハードウェア向けの新機能を追加した。古いAPIに依存するソフトウェアではソースコードの変更が必要になる場合があるため、ggmlを組み込んだり、その上に推論ツールを構築したりする開発者にとって重要なリリースとなる。

プロジェクトのリリースノートは、単一の目玉機能ではなく、広範な技術的更新を説明している。ライブラリーレベルでは、複数のバックエンドでYaRNの切り詰め設定を変更できるようになり、FP8関連の機能が加わった。変更一覧にはCUDAでのOCP FP8対応とFP8のキーバリューキャッシュ対応のほか、行列乗算のテストや精度制御が含まれる。

旧式のインターフェースを削除することで、1.0系の互換性の境界がより明確になる。関連するコミットには、`ggml_diag_mask_inf`の削除に合わせてサンプルを修正した例があり、依存するプロジェクトが直面し得る実際の移行作業を示している。このリリースには、Python 3.14向けのNumPy依存要件の修正に加え、ビルド、エラー処理、メモリー安全性に関する複数の修正も含まれる。

多様なハードウェアを対象にバックエンドを改善

リリースの大部分は、さまざまなデバイスでの推論高速化に重点を置いている。CUDAには、小規模バッチ向けの量子化行列乗算の最適化、混合エキスパート(MoE)の融合処理、FlashAttentionの追加構成、グラフ処理の改善が加わった。Metalでは、三角行列求解とFlashAttentionのカーネルで、範囲外アクセスを防ぐ対策などが導入された。

VulkanにはIntelハードウェア向けのプリフィル時のFlashAttention処理経路、テンソルを一括コピーするインターフェース、MoltenVKとFreeBSDのビルドに関する修正が追加された。SYCLにはデバイス側のMoEスケジューラーとキャッシュの改善が加わり、大規模な事前コンパイルやストライド付きビューの問題も修正された。OpenCLではAdrenoハードウェア向けに分解実装したFlashAttentionと別の行列乗算演算を追加し、WebGPUでは新しいカーネルと1次元の反射パディングへの対応を導入した。

CPUと専用バックエンドにも進展があった。ARM NEONでは新しいSIMD行列乗算タイルを使用し、Hexagonは量子化演算の対応範囲を広げるとともに64ビットハンドルの問題を修正した。SpacemiTの処理経路には、量子化カーネルの振り分け処理が追加された。ROCm/HIPのワークスペース管理は、rocBLASによる繰り返しの割り当てを避けるよう変更された。

スケジューラーと転送に関する複数の変更は、不要な処理の回避を目指している。バックエンドは読み取られない入力のアップロードを省略し、後続の実行分割で必要な入力だけをプリフェッチできるようになり、ggmlのRPC機構を通じた読み込みも改善された。ほかにも、到達不能なRPCエンドポイントへの接続を適切に失敗させる修正や、デバイス障害の報告に関する修正が行われた。

幅広い変更は、移植性のある低レベル基盤としてのggmlの役割を反映している。性能はデバイス固有の多くの処理経路に左右される一方、公開APIは上位のアプリケーションから利用しやすいものでなければならない。1.0を採用する開発者は、まず削除されたインターフェースを確認し、そのうえで自分の運用環境に関係するバックエンドを測定すべきだ。列挙されたすべての最適化が、どのハードウェアにも同じように効くと考えるべきではない。