Strataというオープンソースプロジェクトが、1250億パラメータの言語モデルQwen3.8-Flash-Nextを一般消費者向けのゲーミングPCで動かすための、一式にまとめたソフトウェアを提供している。対象は、少なくとも12 GBのビデオメモリを備えたNvidiaまたはAMDのグラフィックスカードを搭載するWindowsとLinuxのシステムで、GPUに収まらないモデルの部分はシステムの主記憶に保持する。
プロジェクトのGitHub文書によると、Strataはチャット、コード生成、画像処理に対応し、OpenAI方式およびAnthropic方式のAPIと互換性のあるローカルホストのインターフェースを通じてアプリケーションに接続できる。推論は利用者のマシン上で実行されるため、プロンプトや出力を遠隔のモデル提供事業者に送る必要はない。このローカル設計は非公開の情報を扱う開発者にとって魅力となり得るが、接続するアプリケーションやダウンロードするモデルの構成要素については、利用者がそれぞれ別途評価する必要がある。
この規模のモデルを動かすには、依然として多くの計算資源が必要だ。プロジェクトによれば、インストーラーのダウンロード量は約70 GBで、システムメモリには35～55 GBを読み込む場合がある。起動時には、コンピューターの動作が1～3分間大幅に遅くなる可能性がある。Strataはモデルの処理をグラフィックスメモリと通常のRAMに分散し、頻繁に使うデータをGPUの近くに保持しながら、その他の部分をシステム全体の間で移動させる。
性能はハードウェアとモデルの圧縮度合いに左右される。開発者らは、24 GBのビデオメモリを搭載したRTX 3090なら、特定の構成で毎秒約100～140トークンを生成できると見積もっている。これはプロジェクト側の測定値であり、独立したベンチマークではない。結果はモデルの種類、プロンプトの長さ、コンテキストの大きさ、その他の処理負荷によって変わる。より強く圧縮した小型版はメモリに収まりやすく、より速く動くと考えられるが、圧縮によって出力の品質が低下する場合がある。
インストールは案内に沿って進められるよう設計されている。Windows利用者は同梱の起動スクリプトを、Linux利用者はセットアップスクリプトを実行する。インストーラーはグラフィックスカードを検出し、推論エンジンを選び、利用可能なメモリ量に応じてモデルの種類を推奨する。中断したダウンロードを再開でき、後で再び起動する際に同じファイルを取得し直す必要もない。任意で使えるMCPサーバーによって、対応するコーディングツールからセットアップと起動を管理できる。
Strataは、複数のグラフィックスカードを使う実験的な構成にも対応する。基盤となるソフトウェア群にはllama.cppとggmlの構成要素が含まれ、圧縮版モデルの提供元としてISTA-DASLab、UkisAI、Unslothがクレジットされている。StrataのコードはMITライセンスで配布されるが、個々の構成要素とモデルファイルにはそれぞれ独自の利用条件が適用される。
今回の公開は、高性能な言語モデルをデータセンターから個人のハードウェアへ移そうとする継続的な取り組みを反映している。計算に必要な負担がなくなるわけではない。利用を検討する人には十分なRAM、ディスク容量、比較的新しいGPUが必要であり、大きく掲げられる速度の主張は特定の構成での値として受け止めるべきだ。Strataが提供するのは、推論の構成要素を一つずつ手作業で組み合わせなくても、この複雑な仕組みを利用しやすくすることを意図した、統合インストーラーとローカルのサービス層である。
