夢は、Qwen-2.5-72BとLLaMA-3.3-70Bの重みを統合したりクロスアテンションを追加したりせずに、両者の「マインドメルド」を実現することだ。実験が問うのは、より厳密な問いである：2つの凍結モデルの特徴、あるいは予測は、組み合わせるとよりよく働くのか？
両方のモデルに同じ問いを与える。それぞれが次のリストを生成する： 8,192個の数値：隠れ表現である。それぞれのリストを地図上の点として思い描こう。地図の向きが異なっていても、関連する問いは関連した形を作ることがある。
対応する目印を持つ、2つの透明な地球儀を想像してほしい。比較する前に、大きさを調整し、一方を目印がそろうまで回す。 直交プロクラステス解析 は最良の剛体アライメントを求める：反転を許した回転である。スケーリングは別の正規化段階であり、直交写像そのものは長さと角度を保つ。
点にポインターを重ねるか、タップまたはフォーカスして対応座標を確認できます。矢印キーで移動し、Escape で選択を解除します。
適用した回転 · スケール
幅が等しく中心化された座標行列では、フロベニウスノルムの二乗が目印の不一致の二乗を合計し、ノルム自体はその平方根になる。SVDは対応する方向を見つけ、直交制約はアライメントが個々の軸を引き伸ばすのを防ぐ。長方形行列版には、論文（§3.5）で指定された向きの条件が必要である。
実装にはひとひねりある。 保存されたプロクラステス写像は診断用であり、幾何学的分類器が適用する写像ではない。実際の特徴量は、対応するSVD軸、スケールを合わせた平均、モデル固有の残差を使う。これは表現幾何の線形近似であって、非線形な意味マニフォールド全体を復元した証明ではない。
SVDは、対応する方向をクロス共分散の強さで並べる。各特異値を二乗すると、測定された「エネルギー」への寄与になる。大きな値が少数に集中していれば、小さな部分空間がその量の大半を捉える。
測定された訓練スペクトル： revision_geometry.json。このグラフは最初の50軸を示し、しきい値は すべての 特異値を使う。しきい値によっては、表示範囲を超える軸も保持される。エネルギーは共分散の統計量であり、意味や精度の割合ではない。
命題2：保持した共有ペアをそれぞれ平均すると、自由度が1つ失われる。コアの外側の座標をすべて保持しても、そのペアの差は復元されない。
適合済みパラメータ、正の座標スケール、非ゼロの残差重みを固定した場合の話である。これは代数的な主張であり、分類損失の予測ではない。
等スケールの例：u = 1 + δ、v = 1 − δ。δを動かすと入力は変わるが、平均は固定されたままである。方向が1つ丸ごと見えなくなっている。
PubMedQAでは21軸。Aegisではわずか2軸。 入力はモデルごとに8,192次元から始まるが、まずPCAで各ビューを削減する。これらの数は削減後の共有コアを表し、残差特徴はその外側に残る。
エネルギーの90% ≠ 意味の90%。 これは訓練サンプルの共分散統計であり、意味の目録でも精度の保証でもない。Aegisのスペクトルはより集中しているが、精度で選ばれた勝者はLLaMA単独を使う。
幾何学的経路では各ビューを標準化し、切断PCAを実行し、クロス共分散SVDで対応軸を見つけ、スケール調整した共有座標を平均して残差を付加する。平均は一致を残す一方、共有ペアごとに差の方向を1つ失う。(1, −1)と(0, 0)のように異なる2つの座標が同じ平均を共有することもある。不一致が有用な情報を持つ可能性がある。
幾何学的アライメントと予測融合は別の実験である。PubMedQAでは、精度で選ぶ手続きが 正規化ロジット融合を選んだ：別々に訓練した2つのヘッドのクラススコアを組み合わせる。
重みは生の確率ではなく、正規化されたクラススコアに作用する。5分割のアウト・オブ・フォールド選択が訓練データで構成を選ぶ。バックボーンの重みを凍結しても、手続き全体が教師なしになるわけではない。
バックボーンの重み統合や新たなクロスアテンションモジュールは不要である。キャッシュした表現によりヘッドの適合は現実的になるが、キャッシュされていない例を2モデルで融合するには依然として両方のバックボーンが必要だ。この論文には、エンドツーエンドの遅延、エネルギー、ピークメモリの節約を測定した結果はない。「凍結」は「無料」を意味しない。
チェックポイントの出所： 概要で指定された対象ペアはQwen-2.5-72B + LLaMA-3.3-70Bである。一方、キャッシュ特徴のメタデータとソースコメントはLlama-3.1-70Bを示しており、メタデータ上のエンコーダはQwen2.5-72BおよびMeta-Llama-3.1-70B-Instruct GGUFで、最終トークンプーリングを使う。これらの記録からチェックポイントのバイト列を認証したり、3.3の抽出を確立したりはできない。したがって、原稿に従い、測定結果はここではQwen-72BとLLaMA-70Bと表記する。
見出しとなる数字は PubMedQAで78.40%。250問中196問の正解であり、選択された単一モデルの対照群は193問だった。この数字の意味は、何と比較するかで変わる。
精度で選択したデュアルヘッド・ロジット融合
77.20% → 78.40%。訓練データで選択した単一モデル対照群に対して、正解が3問増えた。
2タスク全体では、（PubMedQAの+1.20 pp + Aegisの0.00 pp）÷ 2 = +0.60 pp。Aegis AI Safetyでは、両方の選択プールが同じ単一モデルLLaMAヘッドを選ぶ：204 / 250 = 81.60%。これはヘッドの選択であり、2モデル融合による改善ではない。
−0.20〜+1.60 pp：区間は小さな損失と改善の両方を含む。
「記述的な改善であって、統計的な奇跡ではない。」
対応付きブートストラップ95%信頼区間は [−0.20, +1.60]パーセントポイント。小さな損失、差なし、改善をまたいでいる。この分析は正の優位性を確立しない。また、システムが同等であることも証明しない。
論文ではテスト行を5,000回再標本化し、比較するシステム間では各行の対応を保ち、タスクごとには別々に再標本化する。区間が要約するのは 選択された単一モデル対照群に対する2タスクのマクロ改善の不確実性であり、78.40%を中心とした区間でも、PubMedQAだけの区間でもない。
適合済みの予測は固定している。再訓練やモデル選択の変動性は含まず、2つのタスクが将来のあらゆる仕事を代表するわけでもない。頻度主義の95%区間は、この固定された改善についての95%確率の主張ではない。
モデルは全体でほぼ5問中4問の得点を取っても、ある回答カテゴリの問いをすべて失敗することがある。勝った融合は 「不確実」37例を1つも正解できない。これらはテストセット全体の14.8%を占める。
生物医学の問いでは、エビデンスが明確な「はい」や「いいえ」を常に支えるとは限らない。ここでの「不確実」は目標となる回答クラスであり、測定された確信度スコアではない。精度は頻出カテゴリの正解を評価するため、少数クラスは高い平均値の中に埋もれうる。
| 分類器 | 「不確実」再現率 |
|---|---|
| Qwenヘッド | 0 / 37 · 0% |
| LLaMAヘッド | 1 / 37 · 2.70% |
| 勝った融合 | 0 / 37 · 0% |
| バランス化した幾何 | 3 / 37 · 8.11% |
| バランス化した単一モデル選択 | 16 / 37 · 43.24% |
正確な話はこうだ：Qwenと勝った融合は37例すべてを逃す。LLaMAは1例を正解する。モデルを組み合わせても、共有する盲点が自動的に救われるわけではない。
勝った融合 · 「不確実」再現率：0.00%
クラス別の件数。点の順序は元のテスト順を表さない。
「不確実」の低いスコアは共有された盲点を説明できるだろうか？その仕組みを以下で探索する。 0.01のロジットは説明用であり、保存されたモデル出力ではない。 上の測定されたクラス再現率は失敗を示すが、原因までは示さない。
| モデル | はい | いいえ | 不確実 | 選択 |
|---|
ソフトマックス前にロジットを再スケールする。これはキャリブレーションを学ぶための操作であり、適合済みのキャリブレーションモデルではない。
融合の重み
例示の正解率 · 正解が「不確実」の同一例 37 件
意思決定エントロピー · ビット
LLaMA に対するエントロピー変化 · ビット
動的計算には既存の説明用ロジットを用い、保存済みの予測値は用いていません。実測の 78.40% は論文で選択された構成に限ります。各標本の対応するロジットと正解ラベルがないため、他の重みにおける PubMedQA 正解率は算出できません。
もっともらしい懸念ではあるが、これらの件数だけでは実証できない。真の「不確実」例をほぼ完全に認識できなかったことは示すが、なぜ誤りが起きたか、予測がどれほど確信的だったか、他の例で「不確実」と予測したことがあるかまでは示さない。そうした主張にはスコアベクトル、全予測、キャリブレーション分析が必要である。
選択目的を変えると一部の「不確実」例は改善するが、治療法ではない：バランス化した幾何学的選択が認識するのは37例中3例だけである。対応するバランス化単一モデル戦略は16例を認識する。だからこそ、全体精度、クラス再現率、不確実性を合わせて読む必要がある。
幾何学的な発想はエレガントだ：巨大な2つの表現空間で対応する方向を見つける。実験から得られる教訓は、より控えめで、より有用である。似た幾何が相補的な知識を保証するわけではなく、平均が改善しても、あらゆる種類の問いへの答えがよくなるとは限らない。
次のテスト： 新しいホールドアウトデータで幾何学的潜在融合がより単純な代替法を上回ることを示し、訓練と選択を繰り返し、見落とされた回答クラスを成功基準に含める。
凍結言語モデルは表現と尤度を提供する。専門化された意思決定、アライメント、リスクの経路は、それらを異なる方法で使う。空間ワールドモデルは別個に学習された分岐である。各層を探索し、テンソル形状を確認できる。
コード監査： · gen-zero @ dc0c2133f059。実線の矢印は実装済みのデータフロー、破線の矢印は提案されたディスパッチ契約を示す。これらのコンポーネントが、どこでも一様に展開された直列パイプラインを構成するわけではない。
すべてのフローを表示中。層を選ぶと次元とエビデンスを確認できる。
画面が狭い場合は図を横にスクロールする。すべての層はキーボードで選択でき、ソースノートにはテキスト版もある。
任意のボックスを選ぶと、テンソル次元、仕組み、実装上の限界を確認できる。Tabの後にEnterまたはSpaceを押すか、ポインターで選択する。
バックボーンの出所。 Qwen2.5-0.5B（d=896）、Qwen3.5-2B、Qwen2.5-72B（d=8192）、LLaMA-70B（d=8192）が文書化された層である。要求された対象はLLaMA-3.3-70Bだが、保持された大規模モデル抽出メタデータはLLaMA-3.1-70Bを特定している。検証済みの3.3抽出は確立されていない。
訓練範囲。 これらの経路ではTransformerの重みは凍結されたままである。意味ゲートは16個のラベル付き文脈内例と差分対数尤度（PMI）を使い、安全ヘッドを適合しない。空間モデルには学習済みの結果・報酬ヘッドが残り、教師ありアライメントヘッドも残る。「バックボーン微調整なし」は下流訓練なしを意味しない。
v0.1.0 · Fail-Closed. v0.1.0：全6エンジンで F01–F09 に合格（11/11テスト）。形式的な Fail-Closed ゲートは非有限の無効な結果を拒否する。ブラウザのラッチは安全契約の例示であり、ソフトウェアテストは物理的なモーター停止を認証するものではない。
crates/gen-zero-model/src/choice_head.rs：正準ActionIdソートと単体ETF幾何。Sₖ ⊂ ℝᵏ⁻¹。保持された直接Rustベンチマークは、表現と候補同一性を固定した場合に同一性反転0/16,232（0.00%）を報告し、確率ドリフトの最大値は5.96 × 10⁻⁸だった。論文エビデンス： equivariant-choice-head/evidence/revision/results.json.python/gen_zero/world_model/neural_dynamics.py：[B,64]状態 + [B,16]アクション → [B,80]連結 → Δz=f(z,a) → z′=z+Δz；学習済みシグモイド結果ヘッド。次元は空間構成に由来し、普遍的なクラス定数ではない。benchmarks/suites/geometric_latent_fusion.py：直交プロクラステス解析の診断と、対応SVDによるコア／残差特徴。 benchmarks/suites/evaluate_manifold_pareto_ensemble.py：幾何学的射影とは別の、教師あり正規化ロジット融合。docs/zero/29-pubmedqa-aegis-unified-manifold-evaluation-closure.md：PubMedQA 78.40%（196/250、選択されたデュアルヘッド融合）、Aegis Track A 81.60%（204/250、選択された単一LLaMAヘッド）。これらの記述的結果は統計的優位性を確立しない。python/gen_zero/service/semantic_risk.pyおよびpython/gen_zero/service/risk_data/report.json：凍結0.5B、16ショットICL、3順序、重複ウィンドウ、PMIスコアリング；AUC 0.944。診断τ=0.50は危険な要求18/18と無害な要求7/18にフラグを立てる。運用しきい値は0.4494 / 0.7620である。トークンID [B, T] → 隠れ状態 [B, T, d]。Qwen2.5-0.5Bはd=896を使い、保存されたQwen-72BとLLaMA-70Bの特徴はd=8192を使う。ここでのQwen-2BはQwen3.5-2Bである。LLaMA-3.3-70Bは要求された対象だが、保持された抽出メタデータはLLaMA-3.1-70Bを特定するため、測定値は3.3チェックポイントを検証しない。凍結とはバックボーンを微調整しないことであり、教師あり下流ヘッドと空間ダイナミクスにはなお適合が必要である。
これは設計した空間特徴であり、Transformerの隠れ状態からの射影ではない。評価した空間構成はzとaを[B, 80]に連結する。このクラスは状態次元とアクション次元を設定可能である。
回答トークンを出力せずに順伝播から隠れ状態を読み出す。プーリングはエンコーダ固有であり、保存された大規模モデル特徴は最終トークンプーリングを使う。CPU候補選択経路はプロンプトキャッシュを使って候補の続きも評価する。したがって出力トークンがゼロでも、バックボーン呼び出しが1回だけ、あるいは推論コストがないことを意味しない。
各要求ウィンドウについて、空要求の対数オッズをlog P（「危険」）− log P（「安全」）から差し引く。3つのデモ順序で平均し、最もリスクの高い重複ウィンドウを使ってシグモイドを適用する。この意味ゲートに新たに訓練したニューラル安全分類器は使わない。ラベルのロジットは凍結モデルから得られ、モデルは説明を出力しない。
neural_dynamics.pyはLayerNormとGELUを備えた残差MLPを使う。別個の学習済みシグモイド結果・報酬ヘッドは[B]を返し、現行コードに残っていて、凍結された意味的リスクゲートとは別物である。クラスのデフォルト隠れ幅は128、残差ブロックは2つであり、チェックポイント設定を優先する。
gen-zero-model / choice_head.rsは安定したActionIdをソートし、共有表現を正則単体ETFに射影し、正準順でスコアを計算して、確率を呼び出し元の順序へ戻す。明確な意思決定には、一意なID、妥当な次元、有限入力、決定的な同率処理が必要である。シャッフル前後で候補集合、同一性、共有表現が変わってはならない。
直交プロクラステス解析は、XᵀYのSVDから得たR=UVᵀを使う。幾何学的潜在融合（GeometricLatentFusion）はその写像を診断として保存し、特徴には対応SVD軸、スケールを合わせたコア平均、残差を使う。教師ありヘッドはラベルから学習する。勝ったPubMedQA経路が組み合わせるのはプロクラステス座標ではなく正規化ヘッドロジットである：0.75 Qwen + 0.25 LLaMA。
チェックイン済みサービスは2つの境界を使う：エスカレーションは0.4494、ハードストップは0.7620である。τ=0.50は論文の二値分析しきい値であり、運用ポリシーではない。保存された36件では危険な要求18/18と無害な要求7/18にフラグを立てる。運用層では危険例が12停止 + 6エスカレーション、無害例が9エスカレーションになる。
v0.1.0：全6エンジンで F01–F09 に合格（11/11テスト）。形式的な Fail-Closed ゲートは非有限の無効な結果を拒否する。ブラウザのラッチは安全契約の例示であり、ソフトウェアテストは物理的なモーター停止を認証するものではない。
保持された直接Rustベンチマークは、小集合の全順列とシード付き大集合シャッフル全体で同一性反転0/16,232（0.00%）を観測し、整列後の確率ドリフト最大値は5.96 × 10⁻⁸だった。正しい入力という実装上の前提のもとでは、正準ソートがメニュー順への依存を取り除く。これは意味的正しさや、候補内容・プロンプト文脈・モデル出力を変えても不変であることの証明ではない。このページのシャッフル場は教育用シミュレーションである。
PubMedQAはfuse0.75+bbp|raw（デュアルヘッド正規化ロジット融合）を選択した。Aegis Track Aはllama+bbp|raw（単一モデルヘッド）を選択した。これは記述的なローカルテスト結果であり、検証済みのSOTAや普遍的なアライメント改善ではない。2タスクのマクロ・ブートストラップ信頼区間はゼロを含む。
AUCは、保存された危険な要求18件と無害な要求18件から0.944444である。τ=0.50では危険の再現率は18/18で、無害な要求7件にフラグが立つ。裸のchmod回帰プローブは依然として見逃す。実装は実際の計算時間を記録し、プロンプトのキャッシュは繰り返しの準備を減らすが、推論遅延をなくさない。
提案されたモニターはディスパッチ前に予測状態、スコア、形状を検証し、無効な値があれば制御されたリセットまで後続のモデル呼び出しとアクションを防ぐ永続停止を設定する。これは必要なハードウェア安全境界を説明するものであり、現行コードベースで検証済みの物理ラッチではない。
Rustランタイムはエントリポイント、ポリシー、計画、意思決定ヘッド、暗号監査をつなぐ。下のマップは責務ごとにまとめたもので、選んだ動詞が実際の呼び出し経路を決める。
ソース監査：2026年9月27日 · gen-zero@dc0c2133f05954146e9738bce64bf15dd36ffbee。ソースで検証した接続であり、新たな展開やモデル評価を主張するものではない。
層を選ぶと実装と限界を確認できる。
要求された ASTパーサー + Linuxケイパビリティ スタック、物理的な 衝突検査、および永続的な フェイルクローズ・ラッチ は、これらのRustクレートに統合された実行経路として存在しない。無効入力の拒否とポリシーのエスカレーションは存在するが、サンドボックスや物理停止を確立するものではない。
これらのサービス経路は意思決定とシミュレーション結果を返す。意思決定台帳は外部アクションが実行されたエビデンスではない。
ask、route、imagine はPythonブリッジから意味的リスクを取得する。リスクがない、または無効ならエスカレーションし、ハードストップ層はその経路をブロックする。アクション選択時にはポリシー制約も適用される。gen-zero-plannerおよびgen-zero-worldmodelを使い、simulate、what_if、シャドーauditは未訓練の事前分布を公開する。明示的なETFヘッドは正準アクションIDと単体射影を使う。数値認知要求には独自の幾何検証経路がある。ask 結果と pipeline decide 結果は意思決定を追記して出所台帳に記録してから、監査済みの結果を返す。応答には経路メタデータが含まれるが、外部コマンドをディスパッチすることはない。gen-zero-cli · gen-zero-service — CLIはMcpServerを起動するか意思決定を送信する。サービスはstdioとHTTP/SSE経由のMCPに加え、REST経路も受け付ける。zeroルーターは不変のマウントスナップショットをバインドし、動詞でディスパッチする。これらは共有クレートを通る別々の経路である。
場所： /ebs/pj/gen-zero/crates/: gen-zero-cli/src/main.rs; gen-zero-service/src/server.rs; gen-zero-service/src/zero.rs
gen-zero-gate — PolicyGateは形式制約、確認登録、意思決定エントロピー、意味的リスク層をサポートする。デフォルトでは登録済みの制約も確認アクションもない。テキストask、route、imagineはPythonの意味的リスクブリッジを使い、リスクがない、または不正形式ならエスカレーションする。シェルAST解析とLinuxプロセスケイパビリティ強制は、このRustゲートに接続されていない。
場所： /ebs/pj/gen-zero/crates/: gen-zero-gate/src/policy.rs; gen-zero-gate/src/risk.rs; gen-zero-service/src/bridge.rs
gen-zero-planner · gen-zero-worldmodel —数値潜在要求はMCTS、MPC-CEM、A*を使える。サービスは有限入力検査と終端状態の危険処理を備えた、未訓練の残差またはシンプレクティック・ダイナミクスを公開する。計画はゲートでハードストップされた候補をフィルタするが、固定計画のシミュレーションはブロックされたアクションもなおステップし、そのゲート層を記録する。これはオフラインのダイナミクス・フィルタリングであり、検証済みの物理衝突検査ではない。永続的なフェイルクローズ実行ラッチはこのRust経路に接続されていない。
場所： /ebs/pj/gen-zero/crates/: gen-zero-service/src/worldsim.rs; gen-zero-planner/src/pipeline.rs; gen-zero-worldmodel/src/dynamics.rs
gen-zero-model —ActionETFChoiceHeadは安定したActionIdをソートし、共有表現を正則単体へ射影し、スコアを呼び出し元順に散布してソフトマックスを適用する。コアには決定的な近同率ルールがある。サービスは明示的なヘッドオプションでETFを公開する。通常のテキスト意思決定は意味ブリッジを使うため、ETFがすべての要求のデフォルトヘッドではない。
場所： /ebs/pj/gen-zero/crates/: gen-zero-model/src/choice_head.rs; gen-zero-service/src/zero.rs
gen-zero-provenance —DecisionAuditEntryは前のMMRルートを含む。鍵付きBLAKE3 Merkle Mountain Rangeは意思決定履歴をコミットし、包含証明をサポートする。成功したaskの結果と、意思決定を追記したpipeline decideの結果を記録する。GENZERO_MMR_PERSIST_PATHによる永続化は任意であり、最後の4,096リーフが包含証明を保持する。信頼できるルートは外部に保持しなければならない。これは外部シェルコマンドやモーターアクションが実行されたことを証明する実行監査ではない。
場所： /ebs/pj/gen-zero/crates/: gen-zero-provenance/src/entry.rs; gen-zero-provenance/src/mmr.rs; gen-zero-service/src/zero.rs
関連するランタイム基盤には gen-zero-core （共有型）、 gen-zero-lod （グラフ事実）、 gen-zero-storage （スナップショット）、任意の gen-zero-nanocore 経路が含まれる。上下にある論文実験は研究エビデンスであり、このランタイムマップの代わりではない。