基本思想
機能安全が教える設計原則
機能安全の発想を一言で言えば、こうなります。
「安全は、善意ではなく構造で担保する。」
「安全は、善意ではなく構造で担保する。」
これは哲学的命題ではなく、設計原則です。正しく動くことを期待するだけでは不十分であり、壊れたときにどうなるかを事前に設計しなければなりません。
正常動作への期待だけでは不十分
あらゆるシステムは、いつか想定外の状態に入ります。
異常時に安全側へ移行する構造が必要
壊れたとき・誤ったときに、危険側ではなく安全側へ自動移行します。
最終停止機能は通常機能から独立
通常制御と安全系は別設計・別経路・別論理で構成します。
AI時代においても、この原理は変わりません。むしろ、内部が複雑で設計にも関与しうるAIに対してこそ、より強く必要とされます。
危険な構造 vs 望ましい構造
AIが設計・制御・検証・停止判定まで一貫して担う構造と、役割を分離した構造では、安全性の根本が異なります。
危険な構造の本質的問題
AIが設計した安全機能をAIが検証し、AIが安全だと判定する構図では、設計バイアスと検証バイアスが同一の前提を共有します。この構造では、特定の故障モードが系統的に見落とされるリスクがあります。
AIが設計した安全機能をAIが検証し、AIが安全だと判定する構図では、設計バイアスと検証バイアスが同一の前提を共有します。この構造では、特定の故障モードが系統的に見落とされるリスクがあります。
望ましい構造の設計思想
通常制御の高性能化と最終停止系の単純化は、互いを妨げません。高度なAI通常系と、独立した単純停止系を組み合わせることで、性能と安全の両立が可能になります。
通常制御の高性能化と最終停止系の単純化は、互いを妨げません。高度なAI通常系と、独立した単純停止系を組み合わせることで、性能と安全の両立が可能になります。
リスク分析
AIが安全回路を設計する時代のリスク
今後は、AIが安全関連制御や保護ロジックの設計に関与する場面が増えるでしょう。しかし、その場合には次の固有リスクが発生します。
検証しにくい構造の埋め込み
AI生成の安全ロジックは、人間が追跡・解釈できない形で構造化される可能性があります。
最適化副作用によるフェールセーフ破壊
性能最適化の過程で、フェールセーフでない振る舞いが副産物として埋め込まれるリスクがあります。
設計・検証バイアスの共有
設計と検証が同じAIモデルや同じ前提に依存すると、系統的な見落としが発生します。
不透明な「安全」表示
人間が内部を理解しきれないまま「安全」と表示・承認されるリスクがあります。
重要な視点の転換
ここで問題になるのは、AIが悪意を持つかどうかではありません。
人間が検証できない安全は、安全とは言えないという点です。意図の問題ではなく、検証可能性の問題です。
ここで問題になるのは、AIが悪意を持つかどうかではありません。
人間が検証できない安全は、安全とは言えないという点です。意図の問題ではなく、検証可能性の問題です。