論文では、GPT-4の特徴をスパースオートエンコーダ（SAE）を用いて抽出する具体例がいくつか示されています。以下にその具体例を挙げます。

### 複雑な特徴の抽出
GPT-4の特徴の中には、以下のような複雑なものが含まれています：
1. **多言語の同一概念**：複数の言語で同じ概念に反応する特徴。例えば、「愛」という概念が英語、日本語、フランス語などで同時に活性化される。
2. **技術的概念**：代数的環（algebraic rings）などの複雑な技術的概念に反応する特徴 [oai_citation:1,sparse-autoencoders.pdf](file-service://file-di349RpjP4srT2ETcsEhnvtI)。

### 特徴の発見方法
1. **手書きプロンプトとトークン予測**：手書きプロンプトを使用し、「ポジティブ」と「ネガティブ」のトークン予測セットを作成。これに基づいてロジットの差異から潜在値へのバックプロパゲーションを行う。
2. **活性化の頻度と勾配値によるソート**：活性化の頻度と勾配値を基に潜在変数をソートし、興味深い特徴を特定する [oai_citation:2,sparse-autoencoders.pdf](file-service://file-di349RpjP4srT2ETcsEhnvtI)。

### 具体的な特徴の例
- **パターンの中断**：例として、「A B C D ... A B X!」のように繰り返しパターンを中断するトークンが挙げられる。この特徴は今後のパターン中断を強化（例：A B Y!）し、中断後のパターン継続も強化する（例：A B X → D） [oai_citation:3,sparse-autoencoders.pdf](file-service://file-di349RpjP4srT2ETcsEhnvtI)。
- **引用符内のテキスト**：引用符内、特に二重引用符内にあるテキストに反応する特徴。引用符を閉じるトークン（「"」や「’」）、複数の引用符を一度に閉じるトークン（「"’」や「’"」）を強化する [oai_citation:4,sparse-autoencoders.pdf](file-service://file-di349RpjP4srT2ETcsEhnvtI)。
- **大文字のフレーズのコピー/誘導**：大文字のフレーズ（例：「A B ... A → B」）のコピーや誘導を行う特徴 [oai_citation:5,sparse-autoencoders.pdf](file-service://file-di349RpjP4srT2ETcsEhnvtI)。

### 安全関連の特徴
- **不適切なコンテンツの特定**：GPT-2オートエンコーダの実験では、児童性的内容や冒涜的表現などの安全に関わる特徴を特定することができた。これらの特徴を制約することで、該当するコンテンツの生成を抑制する効果が確認された [oai_citation:6,sparse-autoencoders.pdf](file-service://file-di349RpjP4srT2ETcsEhnvtI)。

このように、論文ではGPT-4の複雑な特徴を抽出する方法とその具体例が詳述されています。さらに詳しい情報が必要な場合は、特定の箇所についてさらに掘り下げて説明することができます。