ExeaLM の内部

ストリーム A を一定ステップ前（ラグ）からそのまま写します。

現在の A、1 間隔前の B、2 間隔前の C を足し、滑らかなゲート（silu）を通します。短い語の断片に強い回路です。

チャネルごとに学習した割合で薄れていく A の和を保ちます。

累積和と同じですが、過去をどれだけ残すかを B が毎ステップ決めます。

ラグをつけた A と B の積をとり、その減衰つきの和を保ちます。

積の累積和を C を通して読み出します。誘導ヘッドのように、組を見て後で思い出す働きをします。

過去全体にわたる B の加重平均で、重みは exp(A) です。

Mamba に似た状態です。B が位置ごとにステップ幅を決め、何を覚えるかを回路が選びます。

減衰しながら回転する状態（S4D に似ています）で、リズムや周期的なパターンを追えます。

同じ位置で silu(A) と B を掛けます。位置ごとの小さな MLP です。

数ステップ前の A と現在の B の積です。

スロットの中の小さなアテンションヘッドです。A が問い、B が答え、C が渡す内容です。

モデル自身の埋め込みで読み取り専用のライブラリを検索し、見つけたチャンクを読みます。

チャンクごとにメッセージを投稿し、ほかのモデルのコピーが投稿したメッセージを読みます。