同じサイズでの精度向上を目指してファイルを改訂

Unslothは、Dynamic 3.1手法のプレビューを使ったQwen3.8-27Bの更新版量子化モデルを公開した。同プロジェクトによると、改訂したGGUFファイルは、同程度のモデルサイズでベンチマークの平均精度を約5~10%向上させた。更新は2~6ビットの大半の量子化設定に適用されている。

Qwen3.8-27Bは、視覚、推論、エージェント型のコーディング能力を備えた270億パラメーターの密なモデルである。標準のコンテキストウィンドウは262,144トークンで、Unslothの文書ではYaRNを使って100万トークンに拡張できるとしている。量子化は重みを低い精度で表現することによって、実行に必要なメモリーやストレージを削減する一方、出力品質を下げる場合もある。Dynamic 3.1は、その低下を抑えることを目指している。

Unslothは3ビットのUD3ファイルを置き換えなかった。この設定では、旧版と新版がテストで同程度の性能を示したためだ。更新した版については、複数の領域での乖離の縮小と、コーディング、エージェント、汎用評価スイートでの改善を報告している。これらはUnsloth自身による測定結果であり、独立した検証とみなすべきではない。

公表されたテストにはTerminal Bench 2.1、DeepSWE 1.1、LiveCodeBench 6、GPQA Diamond、MMLU-Pro、AIME25が含まれる。Unslothは、エージェント関連のテストには256,000トークン、それ以外の評価には128,000トークンのコンテキストを使用した。また、確率的なベンチマークでは試行を繰り返し、1回だけの比較では量子化品質を正確に捉えられないことがあると説明した。

実用上の制約は引き続きローカルのハードウェア

文書によると、Qwen3.8-27Bは適切な形式であれば、約17GBのRAMまたはグラフィックスメモリーでローカル実行できる。4ビット版の必要容量は約16~19GBとされ、RTX 5080、RTX 4090、または24GBのユニファイドメモリーを備えたMacなどのシステムで扱える範囲に入る。複数トークン予測を使う場合には、さらに1~2GBの余裕が必要になる可能性がある。

利用者は、新しいGGUFファイルをllama.cppやUnsloth Desktopで実行でき、NVFP4パッケージも提供されている。Unsloth DesktopはmacOS、Windows、Linuxに対応し、CPU、GPU、システムメモリーに処理を分散できる。実際の速度は、ハードウェア、コンテキスト長、モデルのどの程度がアクセラレーターに収まるかによって大きく変わる。

Qwen3.8は思考モードと思考しないモードの両方に対応する。Unslothでは、推論に割く労力や、以前の思考コンテキストを保持するかどうかを制御できる。保持は一貫性の向上につながり得るが、より多くのトークンを消費する。文書には二つのモードで異なるサンプリング既定値が示されているため、量子化版を比較する利用者は、それらの設定を一定に保つ必要がある。

この更新は、基になるQwenモデルを変更するのではなく、ローカルモデルの利用者に、品質とメモリー使用量のバランスを取る新たな選択肢を提供する。Unslothが主張する改善が、公表されたベンチマーク環境以外でもどの程度一貫して得られるのかを確かめるには、より多くのハードウェアや実際のワークロードを用いた独立したテストが必要となる。