出来事の日付：2026年11月8日

Llama-modchipというオープンソースのプロジェクトが、改変した推論ソフトウェア一式を公開した。開発者によると、メモリー64GBを搭載し、専用グラフィックスプロセッサーを備えないコンピューターで、2840億パラメーターの混合エキスパート（MoE）モデルを実行できるという。このソフトウェアは、複数のGPUを搭載したサーバーではなく、CPUワークステーション上でローカルにAI推論を行いたい利用者を対象としている。

プロジェクトのリポジトリーには、DeepSeek-V4-Flashというモデルと、複数の300億パラメーターのMoEモデルへの対応が示されている。開発者が公表したベンチマークによると、大きい方のモデルは59GiB未満のRAMに収まるという。リポジトリーでは、プロンプト処理性能を毎秒44.4トークン、生成速度を毎秒9.1〜14.7トークンと報告している。ただし、これらはプロジェクト側の主張であり、第三者が再現した結果ではない。

Llama-modchipの手法は、独自のモデルファイルと推論エンジンの変更に依存している。リポジトリーでは、BF16のスケール値を用いるブロックサイズ64の低ビット・テンソル形式を説明し、既存のGGML型識別子40を割り当てている。また、対応するアーキテクチャー向けの専用カーネルも提供している。この設計のため、モデルファイルを、改変されていない通常のllama.cpp、Ollama、LM Studioにそのまま入れて使うことはできない。開発者は、提供されたパッチやバイナリーを使わない限り、これらのプログラムはテンソルを不明な型として拒否すると注意を促している。

プロジェクトは、CPUコア数、利用可能なシステムメモリー、そしてGPUがある場合にはそのメモリーを検出するランチャーを提供している。ランチャーはその後、CPUとGPUの処理の分担を選び、プロジェクトが選定したバックエンドをダウンロードして、ローカルのウェブインターフェースを開くことができる。モデルのリポジトリーと併せて、コンパイル済みのLinux用サーバーバイナリーも別途配布されており、ドキュメントではWindowsでの起動方法も説明している。

モデル全体をメモリー内に保持することが、この設計の中核となっている。リポジトリーによると、大規模モデルの構成では、モデルデータをSSDにスワップすることを避け、最大25万6000トークンのコンテキストウィンドウで動作できるという。こうした上限や速度は、プロセッサーのアーキテクチャー、メモリー帯域幅、量子化の選択、具体的な処理内容によって変わる。このため、導入を検討する利用者は、注目を集める結果を標準的な性能と受け取る前に、自分のハードウェアでベンチマークを行う必要がある。

今回の公開は、特にオフライン環境や外部ネットワークから隔離された環境での作業に向け、高性能な言語モデルを一般的なワークステーションで使えるようにする取り組みの広がりに関わるものだ。CPUでの推論は、限られたアクセラレーターのメモリーへの依存を減らせる一方、通常は速度の一部を犠牲にし、大幅な量子化に頼る場合もある。Llama-modchipは、既存のあらゆるローカルAIアプリケーションとの互換性を広げるのではなく、そうしたトレードオフを、既存環境とは互換性のない専用ツールチェーンにまとめている。

現時点で根拠となっているのは、プロジェクト自身のコード、ドキュメント、そしてベンチマークに関する主張だ。リポジトリーは、利用者にベンチマーク用コマンドを実行し、マシンの測定結果をコミュニティーのランキングに提出するよう呼びかけている。報告された性能が、異なるプロセッサーやOSでもどの程度一貫して得られるかを確かめるには、さらに幅広い検証が必要となる。