https://blog.exealabs.org/ja/Exea Labs の日々の記録。いま取り組んでいるのは、0.1B のオープンな言語モデル ExeaLM の公開開発です。試したこと、数字が示したこと、壊れたことを書きます。jahttps://blog.exealabs.org/ja/posts/seven-pull-requests-and-a-leak/https://blog.exealabs.org/ja/posts/seven-pull-requests-and-a-leak/Wed, 11 Nov 2026 20:00:00 GMTAaron は 2 日目に 7 つのプルリクエストを出しました。チェックポイントからの再開、ほぼ重複する文書の除去、速度ベンチマーク、検索インスペクタ、掲示板の統計、スウォームと単独を比べるハーネス、そして分割スウォームのテストにあったリークの修正です。7 つともマージ済みです。バイトあたりビット数で 0.014 のスウォームの改善のうち、このリークで説明できるのは最大 0.002 です。各スウォームでリークの起こりえない 1 つのエージェントも、対照を 0.012 と 0.009 上回っています。https://blog.exealabs.org/ja/posts/retrieval-on-real-text-and-a-correction/https://blog.exealabs.org/ja/posts/retrieval-on-real-text-and-a-correction/Wed, 11 Nov 2026 20:00:00 GMT実テキストでは、検索はまずバグを表に出しました。その次は、何の改善も生みませんでした。完璧な検索を使うと、トークンあたりビット数で 0.040 の改善の余地があるとわかります。しかし、モデル自身の検索が正しい記事を見つけるのは 12% だけです。希少語キーで、これが 30% に上がりました。シード 0 で報告した改善は、シード 1 では成り立ちませんでした。その報告は訂正しました。https://blog.exealabs.org/ja/posts/hybrid-beats-llama/https://blog.exealabs.org/ja/posts/hybrid-beats-llama/Wed, 11 Nov 2026 20:00:00 GMTTONN だけのモデルは、同じサイズの Llama にバイトあたりビット数で 0.06 遅れました。差のほとんどはコードでした。Mac 1 台での 49 回の実行からなるスイープで、TONN 層 1 つにつきアテンション層を 2 つ置くハイブリッドが、ステップ数をそろえた比較で Llama に勝ちました。速度改善のあとは、学習予定の 0.1B までのサイズで、計算量をそろえた比較でも勝ちました。このサイズでは、Llama と同じ速さで学習します。https://blog.exealabs.org/ja/posts/agents-talk-and-the-model-builds-its-own-rag/https://blog.exealabs.org/ja/posts/agents-talk-and-the-model-builds-its-own-rag/Wed, 11 Nov 2026 20:00:00 GMT新しい 2 つの回路は、それらを通してしか解けないタスクで機能しました。掲示板が必要なリレーで 99.8%（偶然なら 1.6%）、モデルが見たことのない 1,024 個の事実のルックアップで 100% です。実テキストでは、Aaron が見つけたリークを補正しても、スウォームは条件をそろえた対照をバイトあたりビット数で約 0.012 上回りました。検索回路は、3 つの修正をするまで何も学びませんでした。https://blog.exealabs.org/ja/posts/starting-exealm/https://blog.exealabs.org/ja/posts/starting-exealm/Tue, 10 Nov 2026 20:00:00 GMTExeaLM は、高校生がつくるオープンな 0.1B の言語モデルです。検索とエージェント同士のメッセージのやりとりは、層の中の回路として入っています。1 日目は計画を決めました。コードの骨組みも公開しました。