Appleの研究者は、同社のMLXフレームワークとThunderbolt 5を介した低遅延接続を用い、複数のMac Studioからなるクラスター上で、大規模な重み公開型言語モデルのローカル推論を実演した。実験では、8160億パラメーターを持つ混合エキスパート（MoE）モデルMuse Spark Openを4台のマシンで実行し、毎秒36トークンを超える生成速度を達成した。

この研究は、デスクトップ1台には収まらないモデルを、複数のAppleシリコン搭載システムに分割する方法を示すことを目的としている。Muse Spark Openは、本来のBF16精度ではパラメーターだけで1.6テラバイトを超えるメモリーを必要とする。NVFP4への量子化によりモデルのメモリー使用量は約493GBに減るが、推論時に追加で必要となるメモリーがあるため、それでも1台には収まらない。

Appleの構成では、パイプライン並列処理によってモデルの層をコンピューター間で分割する。1台のMac Studioが最初の一群の層を処理し、その中間結果を次のマシンへ送り、そこで計算を続ける。層の処理順序は逐次的なままなので、通信のオーバーヘッドが小さければ、生成速度を単一マシンの性能に近い水準に保つことができる。

この通信には、macOS 26.2で導入されたThunderbolt経由のRDMAドライバーを使用する。MLXのバージョン0.30.1以降は、jacclというバックエンドを通じて通信操作を利用できる。Appleが説明した2台構成では、研究者はリンク帯域幅を増やすため、システム同士を2本のThunderboltケーブルで接続した。そのうえで、MLXの起動ユーティリティーがノード間の処理を調整した。

研究者は、小規模なモデルについてもMac Studio単体でベンチマークを実施した。1280億パラメーターのMistral Medium 3.5と、270億パラメーターのQwen 3.8は、512GBのユニファイドメモリを搭載したマシンに収まった。コンテキスト長が65,536トークンの場合、Appleが報告したメモリー使用量はMistralで最大158GB、Qwenで最大68GBだった。

M5 UltraシステムとM3 Ultraシステムの比較では、推論の段階によって性能向上の幅が異なった。Appleの測定では、M5 Ultraで最初のトークンが出るまでの時間が最大4.6倍高速化した。同社は、この改善をGPU内の行列乗算専用ハードウェアによるものと説明している。生成スループットは最大1.6倍に向上し、ユニファイドメモリの帯域幅も毎秒819GBから毎秒1.2TBへと増加した。

Appleによると、実験中の最大消費電力は、M3 Ultra搭載Mac Studioでおよそ200ワット、M5 Ultra版で300ワットだった。これらはベンダーによるベンチマークであり、独立した性能測定ではない。それでも、利用者が管理するシステム内にモデルのデータを保ちながら、MLXによってローカル推論を1台のコンピューターの枠を超えて拡張する方法について、再現可能な概略を示している。