メインコンテンツへ移動
AIチュートリアル

AIシステムのプロンプトとツール設定を責任を持って調査する方法

このチュートリアルでは、AI Systems Transparency and Observabilityリポジトリを使い、文脈を維持し、情報源を検証し、責任ある調査手法に従いながら、システムプロンプト、行動指針、ツール定義、設定記録を調査する方法を説明します。

AIシステムのプロンプトとツール設定を責任を持って調査する方法

概要

AIシステムの透明性と可観測性は、AIの動作を形作る指示と設定に焦点を当てた、オープンな研究・ドキュメントプロジェクトです。生成された回答だけを調べるのではなく、このリポジトリでは、システムプロンプト、開発者向け指示、ポリシー、ツール、機能、運用ガイドラインに関する入手可能な情報を収集しています。

AIシステムの出力を理解するには、その出力に影響を与えた指示や機能についてのコンテキストも必要です。

このリポジトリでは、OpenAI、Google、Anthropic、xAI、Perplexity、Cursor、Windsurf、Devin、Manus、Replitなどのプロバイダーに関連するAIモデル、アシスタント、検索製品、コーディングエージェント、開発プラットフォームを扱っています。新しいシステムや研究の登場に伴い、対象範囲は変わる可能性があります。

重要: このリポジトリは自己責任で利用してください。文書化された情報や研究手法を適用する前に、アカウント、プライバシー、法的事項、セキュリティ、プラットフォームポリシーへの影響を理解してください。

プロジェクトで文書化される内容

各エントリには、以下の情報の一部またはすべてが含まれる場合があります。

  • モデルまたはシステム: 調査対象の製品、モデル、エージェント、またはプラットフォーム。
  • バージョン: 判明している場合は、該当するリリースまたはバージョン。
  • 日付: 情報が収集または観測された日付。
  • システムプロンプト: 入手可能なシステムレベルの指示。
  • ガイドライン: 動作または運用に関する指示。
  • ツール: ツールの定義と文書化された機能。
  • 設定: 関連するシステム設定の詳細。
  • コンテキスト: 環境や状況を説明する注記。
  • 出典: エントリを裏付ける参考資料。

すべてのエントリに必ず全フィールドが含まれるとは限りません。また、記録はプラットフォームの現在の本番設定ではなく、過去のバージョン、特定の環境、または特定時点での観測結果を示す場合もあります。

AIの指示スタックを理解する

このプロジェクトでは、AIの動作を複数の層が相互に作用した結果として示しています。

USER INPUT
    |
    v
SYSTEM INSTRUCTIONS
    |
    v
DEVELOPER OR APPLICATION INSTRUCTIONS
    |
    v
POLICIES AND GUARDRAILS
    |
    v
TOOL DEFINITIONS AND CAPABILITIES
    |
    v
AI MODEL
    |
    v
GENERATED OUTPUT

このモデルは、目に見える会話がAIとのやり取りの一部にすぎない理由を説明するのに役立ちます。システムやアプリケーションの指示によって、ペルソナの設定、応答動作の定義、特定の要求の制限、拒否パターンの決定、特定のツールへのアクセス権の付与などが行われる場合があります。

主な機能

  • マルチプラットフォーム対応: 主要なモデルプロバイダーとエージェントプラットフォームを横断して研究します。
  • システムレベルの文書化: エントリには、プロンプト、ガイドライン、ツール、機能、設定の詳細を保存できます。
  • 履歴の保存: システムが変化した後も、過去の観測結果を有用な情報として残します。
  • コンテキスト重視の記録: 日付、バージョン、出典、収集時の状況を重視します。
  • 研究の再現性: 他の人が発見内容を理解できる十分な情報を提供するよう、貢献者に推奨しています。
  • 証拠のラベリング: 確認済みの資料を、仮定、再構成、推測と区別します。
  • コミュニティからの貢献: 研究者は問題を報告し、文書を改善し、新たな発見を投稿できます。

インストールとセットアップ

これは主に研究およびドキュメント用のリポジトリです。READMEでは、ソフトウェアパッケージ、ランタイム、依存関係のインストール、ビルド手順は指定されていません。GitHub上で直接読むことも、検索、比較、貢献作業のためにローカルへクローンすることもできます。

リポジトリをクローンする

  1. リポジトリのGitHubページを開きます。
  2. HTTPSまたはSSHのクローンURLをコピーします。
  3. 適切なGitコマンドを実行します。
git clone <repository-url>
cd <repository-directory>

追加のセットアップコマンドは文書化されていません。後から個別のフォルダーに独自の手順が追加された場合は、該当する資料の手順に従ってください。

ディレクトリ構成を理解する

.
├── providers/
│   ├── openai/
│   ├── google/
│   ├── anthropic/
│   ├── xai/
│   ├── perplexity/
│   └── others/
├── agents/
│   ├── cursor/
│   ├── windsurf/
│   ├── devin/
│   ├── manus/
│   └── replit/
├── prompts/
├── tools/
├── research/
├── documentation/
└── README.md

プロバイダー固有のモデル研究はproviders/の下に整理され、コーディングエージェントや自律型エージェントに関する資料はagents/の下にまとめられています。複数の領域にまたがる記録は、prompts/、tools/、research/、またはdocumentation/に置かれる場合があります。プロジェクトの成長に伴い、構成は変わる可能性があります。

基本的な使い方: AIシステムを調査する

ステップ1: プロバイダーまたはエージェントを選択する

まず、調査したいプラットフォームを特定します。モデルプロバイダーの場合は、providers/の下にある対応フォルダーを調べます。AIコーディングエージェントまたはソフトウェアエージェントの場合は、agents/から始めます。

ステップ2: 記録の識別情報を確認する

エントリを解釈する前に、モデルまたはシステム名、バージョン、日付を確認します。あるバージョンや環境から収集されたプロンプトを、すべてのデプロイメントにおける現在の設定と自動的にみなしてはいけません。

System: Example AI
Version: v2.1
Date: 2026-10-02

ステップ3: 指示の層を分ける

利用可能な資料を役割ごとに分類します。たとえば、システムレベルの動作と、アプリケーションの指示、ポリシー、ツール定義を区別します。これにより、アプリケーション固有の規則を基盤モデルに帰属させるリスクを減らせます。

  • その資料は、アシスタントの身元や一般的な動作を定義していますか?
  • 特定のアプリケーションに由来すると考えられますか?
  • 拒否、安全性、倫理、またはポリシーの枠組みについて説明していますか?
  • 呼び出し可能なツールや、サポートされる機能を定義していますか?
  • 逐語的な指示ではなく、観察結果が含まれていますか?

ステップ4:情報源とコンテキストを確認する

情報がどのように取得されたかを確認します。リポジトリの資料は、公開インターフェース、既存のドキュメント、動作研究やセキュリティ研究、リバースエンジニアリング研究、コミュニティからの貢献、過去の記録、その他の公開情報源に由来している場合があります。

情報源が主張を裏付けているか、また、その記録が解釈に必要な十分なコンテキストを保持しているかを確認します。重要な詳細には、使用したインターフェース、収集日、モデルのバージョン、関連する環境条件などがあります。

ステップ5:証拠を分類する

すべての記録を同じ確実性のものとして扱ってはいけません。証拠が裏付ける内容に応じて、資料にラベルを付けます。

  • 確認済み:信頼できる情報源または検証可能な観察によって直接裏付けられている。
  • 観察済み:明確な収集コンテキストとともに記録された動作。
  • 再構成:元の形で保存されたものではなく、再構成または変更されたもの。
  • 推論:動作または不完全な証拠から導き出された結論。
  • 推測:検証されていない可能性。

これらの分類は、確認済みの情報を仮定、再構成、推測と区別するというリポジトリの要件に従うための実践的な方法です。

ステップ6:指示を動作と関連付ける

証拠を分類したら、記録された指示が目に見える動作にどのような影響を与え得るかを調べます。口調、ペルソナ、制限、拒否、誘導、ツールの選択、出力構造、安全性の処理などを規定するルールを探します。

慎重な分析では、プラットフォーム上のすべての応答を説明できると主張せず、記録が示している内容を明確に述べる必要があります。

調査ワークフローの例

2つのバージョンのAIエージェント間でツールの動作を比較するとします。次の手順を使用します。

  1. 両方のバージョン固有の記録を見つける。
  2. 収集日と情報源を確認する。
  3. 記録されたツール定義と機能の説明だけを抽出する。
  4. ツール名、パラメーター、または記載された動作の違いを記録する。
  5. 直接的な文章の違いと、テストを通じて推論した結論を分ける。
  6. インターフェースと環境に関するメモを保持する。
  7. 重要な調査結果は、可能な限り元の情報源と照合する。
システム:Example Agent
バージョン:2.1
日付:2026-10-02
情報源:公開リファレンスまたはドキュメント
コンテキスト:一般公開されているインターフェースを通じて観察
調査結果:ツール定義または指示文
ステータス:確認済み、観察済み、再構成、推論、または推測
注記:関連する制約と比較の詳細

調査結果を投稿する

貢献には、新たな抽出結果、システムプロンプト、ツール定義、ドキュメントの訂正、または調査結果を含めることができます。役立つ貢献には、別の研究者が内容を理解し評価できるだけのメタデータを含める必要があります。

推奨される貢献記録

モデルまたはシステム名:
Example AI v2.1

バージョン:
v2.1

抽出日:
2026-10-02

情報源:
情報源または参照先

抽出した情報:
関連するプロンプト、指示、ツール定義、または設定

コンテキスト:
情報を取得した方法と場所

注記:
制約、観察結果、証拠の分類

提出前の確認事項

  1. 可能な限り徹底的に情報を検証する。
  2. 利用可能な場合は、モデルまたはシステムのバージョンを特定する。
  3. 収集日または抽出日を記載する。
  4. 元のコンテキストを保持する。
  5. 関連する情報源を追加する。
  6. 確認済みの事実と推論または推測を区別する。
  7. 再構成または変更したプロンプトを公式の原文として提示しない。
  8. 個人情報、認証情報、認証シークレット、その他の機密データを削除する。

単に項目数を増やすことよりも、品質、正確性、コンテキストの方が重要です。

高度な調査のヒント

時間の経過に伴う変更を追跡する

日付とバージョンは、任意のメタデータではなく、調査の中核となるデータとして扱います。バージョン付きの記録を比較すると、指示、ポリシー、ツールがどのように変化したかを明らかにできますが、変更が起きた理由を証明するものではありません。事実に基づく違いと解釈を分けて記録します。

原文を保持する

記録された資料を引用する場合は、実用上可能な範囲で原文の表現と書式を保持します。読者が情報源の資料と分析を区別できるよう、解説は別のセクションに記載します。

複数の情報源を使用する

重要な主張は、元のドキュメントやその他の公開されている参照先と照合します。過去の記録やコミュニティから提供された単一の記録が、現在のシステムを代表しているとは限りません。

同じ条件で比較する

システムを比較するときは、バージョン、日付、インターフェース、アプリケーション、利用可能なツール、アカウント環境の条件をそろえます。アプリケーション間の違いは、基盤モデルではなく、開発者の指示やツール設定に由来する場合があります。

調査結果を再現可能にする

別の研究者が観察結果の生成方法を理解できるよう、手法を十分に記録してください。システム、バージョン、日付、出典、コンテキスト、制限事項を含めます。ただし、秘密情報や機微な個人情報は決して公開しないでください。

慎重な表現を使う

アーカイブされたエントリには〜と記録されている、観察されたインターフェースには〜と表示されていた、証拠は〜を示唆しているなど、正確な表現を優先してください。裏付けとなる証拠が結論を示していない限り、記録が現在のもの、完全なもの、または公式のものであると断定しないでください。

責任ある調査と制限事項

このリポジトリは、調査、教育、分析、文書化、透明性の確保を目的としています。責任ある利用には、プライバシー、適用される法律、プラットフォームの利用規約、適切なセキュリティ開示の慣行を尊重することが含まれます。

  • 個人情報を公開しないでください。
  • 認証情報や認証用の秘密情報を公開しないでください。
  • 推測または再構成された情報には、明確なラベルを付けてください。
  • 関連するコンテキストと出典への参照を保持してください。
  • セキュリティに関わる発見は、責任ある方法で報告してください。
  • 重要な情報は、可能な限り原典と照合してください。

このリポジトリは、記録されたすべての指示がプラットフォームの現在の公式設定であるとは主張しません。AI製品は予告なく変更される可能性があり、エントリは特定のバージョン、インターフェース、アカウント環境、またはある時点にのみ適用される場合があります。

結論

AI Systems Transparency and Observabilityは、AIの挙動の背後にある、目に見えない指示レイヤーを調査するための体系的な出発点を提供します。関連する記録を見つけ、バージョンと日付を確認し、指示レイヤーを分け、出典を検証し、証拠と推論を区別して活用してください。貢献する際は、正確性、再現性、コンテキスト、プライバシー、責任ある開示を優先してください。