Exea Labs、高校生がつくる研究ラボ
高校生がつくる、オープンな言語モデル。
ExeaLM を毎日の記録で公開します。
最新 · 2日目 · 2026年11月11日
Aaron の 7 つのプルリクエスト。ひとつがリークを見つけた
7 つともマージ済みです。そのうち 1 つが、バイトあたりビット数で最大 0.002 に相当するリークを見つけました。
記事
実テキストでの検索には、より良い探し方が必要
読み取りは機能しています。検索が正しい記事を見つけるのは、30% だけです。
6分で読めますTONN だけでは Llama に負けた。ハイブリッドなら勝つ
TONN 層 1 つにつき、アテンション層を 2 つ。計算量をそろえた比較で、0.1B まで同じサイズの Llama に勝ちます。
8分で読めますエージェントは話すことを覚えた。モデルは自前の検索拡張を組み立てる
エージェントは 99.8% の割合で、掲示板を通して事実を伝えます。モデルは、見たことのない 1,024 個の事実から正しいものを見つけます。
7分で読めますExeaLM を始める
高校生がつくるオープンな 0.1B の言語モデル。検索とエージェント同士のメッセージのやりとりを、層の中に持ちます。
5分で読めますExeaLM の現在地
モデル
回路が載った板が TONN 層、残りはアテンション層。層にカーソルを合わせてください。
- メモリ
- 短距離
- 状態の蓄積
- ゲートと積
- アテンション
3 層に 1 層が TONN。小さな回路の列で、検索と掲示板を内蔵します。
中を見るつくっている人
Avneh Bhatia@AvnehSBhatia · メンテナー · 80 コミット、Joshua Selvarajメンテナー、Aaron Chu@aarochu · 8 コミット、Aariv Bhalla、Advaith Banigandlapati、Amanuel Semere Tsehay@amanx98、Anand B@Anandb71、Anirudh Ulabal@UAnirudh、Arnav Rohilla@midnightnothere、Arnav Saraf@Arnav-Saraf-Official、Avyank Vanamali@avyankvanamali-star、Devom Brahmbhatt@DevomB、Edmund Eric Gah@Eddiegah、Eknoor Singh Ahluwalia@eknoorahluwalia1、Hana Jannath、Ilhaan、Ishaan Mondal@IshaanM05、Ishaan Srinivasan@XytheRoblox、Jasraj Tulsi@jaztulsi、Luana Hua@238trimethylnonane、Naman Jain Kamalesh@man-coding-j、Naman Reddy@Naman20101、Raunak Mondal@raunak2007、Rishith Chennupati@rishith-c、Saad Sadaf@saad0-0hehe、Sehaj Randhir Singh@sehajr-singhs、Shivansh Behera@shivy7777、Sowndaryan Jayaprakash Anand@sowndyjay、Yash Patel@codeyash09
参加を申し込む