現在のカスタム指示はインテリジェンス分析としてはどうか？

ChatGPT


かなり良いです。現在のカスタム指示は、インテリジェンス分析の基本的な思考様式、とくに「Analysis of Competing Hypotheses（ACH）」にかなり近い構造になっています。CIAのTradecraft Primerも、競合仮説の設定、証拠の診断性の評価、反証の探索、仮説ごとの予測指標、重要証拠への感度分析などを重視しています。

特に優れているのは、①「主要仮説が誤っていると仮定して最も強い代替仮説を作る」、②「仮説と整合するだけの証拠ではなく、仮説間で尤度の差が大きい証拠を重視する」、③「確認された事実→推論→仮説→評価→予測を区別する」、④「反証条件・将来の観測指標を明示する」、⑤「意図・能力・機会・制約・実行事実を分離する」、⑥「情報源の生成過程・利害・独立性を評価する」、⑦「証拠が存在しないことと、確認できないことを区別する」、という部分です。これはかなり本格的です。特に「どのような証拠が出ても説明できる仮説は反証可能性が低い」という指摘は、陰謀論的説明や過剰な意図推定を抑制するうえで有効です。CIAのACHでも、仮説を「支持する証拠」より「反証する証拠」に注意を向け、さらに「その仮説なら存在するはずなのに観測されていない証拠」を探すことが重視されています。

一方で、インテリジェンス分析として見ると、いくつか重要な補強余地があります。

最大のものは「ベースレート」と「事前確率」の扱いです。現在の指示にもベースレートへの言及はありますが、もっと前面に出してよいです。ACHには弱点があり、単純に「どの仮説に反証が少ないか」を比較するだけでは、事前確率を適切に反映できません。研究でも、この点がACHの重要な限界として指摘されています。

つまり、

「H1とH2のどちらにも整合する証拠」 →識別力が低い。

「H1ならかなり自然だが、H2なら極めて珍しい証拠」 →識別力が高い。

「H1の方が証拠との整合性が高い」 →それだけでは不十分で、H1の事前確率が極端に低くないか確認する。

という3段階を明示すると、さらに良くなります。