調査・観測方法

基本的な考え方

ALLIGATOR SEARCH は、統制された実験環境ではなく、実際のユーザーが普段使っている生成AIの環境で表示された回答を観測します。ログイン状態・利用履歴・地域・アプリのバージョンなど、実利用に伴う条件を含んだままの回答を対象とします。

収集するもの

• 調査ごとに指定した質問文
• その質問に対して実際に表示された回答本文
• 観測の基本条件（対象AIサービス、観測時期、回答が得られたおおまかな環境の区分）

回答本文から、商品名・ブランド名・企業名などの「おすすめ対象」を抽出し、言及・推薦として整理します。

観測条件の明示

各 Research ページでは、結果とあわせて観測条件を明示します。条件を伏せた数値は公開しません。異なる時期・異なる対象AI・異なる質問で観測すれば、結果は変わりえます。

集計の方法

抽出した「おすすめ対象」ごとに、観測された回答のうち何件で登場したかを数えます。集計は観測された回答の範囲に対する頻度であり、母集団全体や将来の挙動を推定するものではありません。

APIによる測定との関係

APIを通じた測定は、条件を揃えやすく再現性を確保しやすいという利点があります。ALLIGATOR SEARCH はそれを否定しません。一方で、実ユーザーの環境で実際に表示される回答は、APIの応答と一致しないことがあります。本サイトは後者、すなわち実利用環境での観測に焦点を当てます。

限界と注意点

• 観測データは特定の時点・条件のものであり、同じ質問でも別の時期には異なる回答になりえます。
• 実ユーザー環境を対象とするため、個々の利用履歴や設定の影響を完全には分離できません。
• 観測されたサンプルは、対象AIの全利用者を代表するとは限りません。
• 本サイトのデータから、AIサービスの内部アルゴリズムや意図を断定することはできません。