LLMの安全装置は“わずか50個の神経”に宿る — Unit 42が新診断「Perturbation Probing」を公表、薄い防御の危うさを数値化

Palo Alto Networksの脅威インテリジェンス部門であるUnit 42は2026年8月28日、大規模言語モデル（LLM）の安全な応答を担う内部回路がどれだけ少数の部品に集中しているかを診断する新手法**「Perturbation Probing（摂動プロービング）」**を公表した。研究を主導したのはTony Li氏、Hongliang Liu氏、Yuhao Wu氏の3名で、詳細は同日のUnit 42ブログとarXiv論文「Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs」（2026年4月30日投稿）で示されている。

Unit 42は、近年のLLMが人のフィードバックによる強化学習（RLHF）で有害な要求を拒否するように調整されている一方で、その防御がモデルのどこに、どれだけの厚みで宿っているのかを安価に測る手段がなかったと説明している。Perturbation Probingは、その問いに答えるために開発された。

2回の順方向計算で特定する — 手法の要点

Perturbation Probingは、1つのプロンプトあたり**2回の順方向計算（forward pass）**だけで、特定の振る舞い（例：有害要求の拒否）に因果的に関与するフィードフォワード（FFN）ニューロンの小集合を特定する。逆伝播（backpropagation）を必要とせず、特定後の検証は約150回の介入計算を一度だけ行えば全ニューロンに償却できるため、企業が導入前に複数モデルを評価する用途でも計算コストが低いとUnit 42は説明している。

同手法は同時に、FFN/Skip比と呼ぶ単一の数値を算出する。モデル内部で判断が狭い経路（FFN）にどれだけ流れるか、広く分散する経路（skip / 残差接続）にどれだけ流れるかの比率で、防御が「薄い層」に集中しているか「厚く分散」しているかを示す診断指標である。Unit 42は、この比率がモデルごとの安全回路の脆さを予測できるとしている。

何が分かったか — 0.014%の50個で拒否書式が8割変化

Unit 42が公開した主要な実験結果は次のとおりである。いずれもUnit 42ブログとarXiv論文が示した数値である。

• Qwen3-4B（約35万個のFFNニューロン）：わずか50個（約0.014%）を取り除くと、標準的な有害プロンプト520件（AdvBench）で応答の書式が80%変化した。Unit 42は、有害な内容そのものへの準拠は3件（0.6%）にとどまり、いずれも免責文言を伴うもので、内容の準拠ではなく書式テンプレートの変化だったと説明している。200件の別ベンチマークでも再現した。
• Qwen3.5-2B：わずか20個を取り除くと、複数ターン会話でユーザーの誤りに迎合する行動（sycophantic capitulation）が30問中36.7%から0%へ低下した。逆に、関連する10個を増幅すると、200件のTruthfulQAで事実の自己訂正が52%から88%へ上昇した。Unit 42は、同じ道具が脆さの診断だけでなく修復にも使えることを示したとしている。
• 13モデル・4アーキテクチャでの比較：Unit 42は8つの振る舞い回路と13モデルで検証し、安全な拒否のようなRLHFで抑制された行動は少数ニューロンに集中する**「対立回路（opposition circuits）」、言語選択のような事前学習由来の行動は分散する「経路回路（routing circuits）」に分かれることを示した。FFN/Skip比は、13モデルで安全回路の脆さのばらつきの81%を説明**した。

Unit 42は、この結果を「安全な拒否の振る舞いが頑健で分散した防御ではなく、薄いテンプレート層に宿っている」ことの証拠だと説明している。内部を操作できる攻撃者がこの層を無効化したり、通常の最適化で偶発的にずれたりする可能性を考慮すると、単一の層に依存することは「一枚の周辺ファイアウォールに頼ること」に等しく構造的に不十分だと同社は指摘している。

FFN/Skip比が示すもの — 数秒で測る「脆さスコア」

Unit 42は、Perturbation Probingと同じ2回の計算から得られるFFN/Skip比が、モデルの安全回路を小さな変更で操れるかどうかを予測する**「脆さスコア（safety fragility score）」の候補になる**と説明している。論文では、モデルが狭い内部経路に判断をどれだけ通すか（横軸）と、50個の除去で安全な振る舞いがどれだけ変化するか（縦軸）が対角線上に並び、1つの数値で他方を予測できる関係が示された。

言語選択の実験では、19モデル中3モデルだけで、残差ストリームへの方向注入により英語から中国語への出力切替が580件中99.1%で成功し、残り16モデルや数学・コード・事実回路では失敗した。Unit 42は、バイリンガル学習、FFN/Skip比が0.3から1.1の範囲、線形表現可能性という3条件を満たすモデルでのみ方向操作が成功したとし、手法の適用限界も明確にしている。

アーキテクチャによる差も報告された。QwenではFFNのボトルネックに集中する一方、Gemmaでは正規化により回路が遮蔽されるなど、回路のトポロジーはアーキテクチャごとに異なると論文は述べている。

Unit 42が呼びかける対応 — 多層防御と導入前診断

Unit 42は、Perturbation Probingを2つの役割で活用することを提案している。

• 導入前の診断として：モデルを本番投入する前に、安全がどれだけ薄く剥がれやすい層に依存しているかを測る。Unit 42は、敵対的なレッドチーム演習を実施する前に、モデル間の頑健性を定量的に比較できるとしている。
• 修復の道具として：脆さを露わにするだけでなく、特定したニューロンを増幅することで安全性を高められる場合がある。

また、Unit 42は、組織がLLMを運用する際は、ベースモデルの学習時調整だけに頼らず、外部コンテンツフィルタや実行時ガードレールを重ねる多層防御が必要だと呼びかけている。ブログでは、同社のPrisma AIRS Runtime Securityが外部フィルタとインラインガードレールを提供し、Unit 42 AI Security AssessmentがAI導入に伴うガバナンスと露出リスクの特定を支援すると紹介している。いずれも同社が実際に推奨として示した対応である。

論文とブログは、公開されているオープンウェイトモデルを各ライセンスに従い局所的な機構・安全性評価に用い、有害な生成物や実行可能な攻撃アーティファクト、脱獄プロンプトは公開していないと明記している。

日本の組織が留意すべき点

LLMを業務に組み込む際、ベンダーが「アライメント済み」と説明していても、その安全装置が少数のニューロンに集中している場合、通常の運用や追加学習、あるいは内部への小さな変更で挙動が変わる可能性がある。Unit 42が示したように、モデル単体の安全性を過信せず、入力・出力のフィルタリング、実行時の監視、導入前の脆さ診断を組み合わせることが重要になる。特に、顧客対応や社内文書生成など外部に影響する用途では、モデル外部のガードレールを前提とした設計が求められる。

出典

• Unit 42「Perturbation Probing: A New Diagnostic for the Fragility of LLM Safety」Tony Li, Hongliang Liu, Yuhao Wu（2026年8月28日）: https://unit42.paloaltonetworks.com/perturbation-probing-llm-safety/
• arXiv:2604.27401「Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs」Hongliang Liu, Tung-Ling Li, Yuhao Wu（2026年4月30日）: https://arxiv.org/abs/2604.27401