実験的なオープンソースプロジェクトが、ビデオメモリー8GBのノートパソコン級グラフィックスカードで、言語モデルをゼロから継続的に学習させられるかを試している。mini-AGIと呼ぶこのバイト単位モデルは、エキスパートの重みの大半をディスクに保存し、必要に応じて作業対象の一部をGPUに読み込む。学習データの読み取りとテキスト生成には、同じ計算経路を使う。

開発者は、現行モデルを最先端システムの競合ではなく、小さな試作レベルの実験と明言している。リポジトリーの説明を作成した時点では、コーパスを最初に一巡する学習がまだ進行中だったため、重みは公開されていなかった。それでも、コードと設計メモは、中央で学習してから固定するのではなく、学び続ける個人用モデルを目指す手法を示している。

Mini-AGIは、導入部分の二つの密なブロックと、最大24回適用できる再帰ブロックで文字を処理する。各反復ではルーターが共有プールから8個のエキスパートを選ぶ。停止機構が文字ごとの再帰ステップ数を変え、一部の入力にはほかより多くの計算を割り当てられるようにしている。リポジトリーの可視化では、読み取り時と生成時の両方で深さが変化していた。

エキスパートのプールは時間とともに変わるよう設計されている。新しいエキスパートは、既存の学習済みエキスパートから取り出したユニットを組み合わせ、初期の影響力を小さくして追加する。ルーティングで継続的に選ばれるものは残り、使われないものは削除できる。各エキスパートは重みとオプティマイザーの状態を含むファイルで表現されるため、プール全体を主に制約するのはディスク容量であり、GPUメモリーに収める必要があるのは、より小さな作業対象の集合だけだ。頻繁な入れ替えを減らすため、ヒステリシスと最低常駐期間を使う。

学習は文字のストリーム上で、バッチサイズ1で行う。各チャンクが勾配更新を生み、独立したファインチューニング段階や固定された基盤モデルはない。プロジェクトは、この構成なら所有者がローカルの資料でモデルの学習を続けられる可能性があると論じている。これはなお実験段階の主張だ。リポジトリーが提供するのは実行中の試行のサンプルであり、多様な課題にわたる長期学習を独立して実証したものではない。

出力品質にもまだ限界がある。2億4300万文字を学習した後のサンプルは、文法が整い話題も保っていたが、内容を繰り返した。リポジトリーによると、示された例では、生成時は読み取り時より文字当たりの再帰深度が大きかった。これらは有用な技術的な観察記録であって、広範なベンチマークの結果ではない。

したがってMini-AGIの当面の価値は、控えめなハードウェアでのメモリーのページング、動的なエキスパート、継続的な更新を探る研究用試作機としてのものだ。その構造はGPU要件を減らすための具体的な考え方を示す一方、文書自体が期待の範囲を適切に定めている。能力はハードウェア、データ品質、規模、学習時間に左右され、現行実装は本番運用水準の汎用知能システムではない。