Amazonが7月30日にMechanical Turkの新規顧客受け入れを停止し、9月30日には同プラットフォームがすべての顧客の受け入れを停止したことは、すでに耳にしているだろう。折しも、SageMakerのヒューマン・イン・ザ・ループツールであるGround TruthとAugmented AIも段階的に終了へ向かっており、取引履歴は2027年1月に同プラットフォームから消える。
個別に見れば、これらの動きは通常の製品整理に見える。だが総合すると、別の物語が浮かび上がる。すなわち、有償の人的データ収集市場を創出し、「クリックワーク」を研究の実施やモデル学習の有力な手段へと押し上げた企業が、その市場から完全に撤退しようとしているのだ。
わかりやすい見方は、MTurkが単に品質面で遅れを取り、競争に敗れたというものだ。それは事実でもある。しかし、より興味深い問いは、そもそもなぜ同プラットフォームで品質を維持することがそこまで難しくなったのか、そしてその答えがオンラインデータ収集というカテゴリー全体について何を示しているのかである。
研究者は歴史的に、オンラインデータ収集というカテゴリーを2つの大ざっぱな尺度で測ってきた。回答1件あたりのコストとサンプルサイズである。残りはプラットフォームの評判で補っていた。しかし、これらの数字は、AI以前から存在していた信頼の問題を捉えるために設計されたものではなかった。調査研究者は何年も前から、インセンティブ報酬を追って複数のパネルを渡り歩く回答者について警鐘を鳴らしてきた。また、質問に真に向き合うことなく、アテンションチェック（注意深く読んでいない人を見つけるために調査に組み込まれる質問）を通過する低労力の回答も指摘してきた。
AIがこの問題にもたらすのは規模であり、さらに、まさにそうした従来の問題を見つけるために設計されたチェックを通過できる新たな回答者カテゴリーである。ダートマス大学の研究は今年、米国科学アカデミー紀要（PNAS）に掲載され、この変化がどこまで進んでいるのかを数値で示した。政治学者のショーン・ウェストウッドは、オンライン調査に説得力を持って回答するよう設計された自律型AIエージェントを構築し、アテンションチェックや行動パターン分析など、研究者が頼る検知手法に対してテストした。そのエージェントは99.8%の確率で検知を逃れた。
この脅威が現実世界でその規模で起きているという見方に、全員が同意しているわけではない。AIモデルの訓練から行動研究まで、質の高い人間データの調達に使われる企業Prolificは最近、自社が構築し資金提供した検知ツールを使い、13の異なるサプライヤーからの実際の調査回答を検証する研究を行った。そのうち12社では、約4800件の回答のうちAI生成の可能性が高いと判定されたものは1%未満だった。13社目はMTurkそのもので、400件の回答のうち該当率ははるかに高く、約16%に達した。この差について、同研究の筆頭著者は、最新のAIチャットボットではなく、従来型のスクリプト化されたボットによるものだとしている。技術的に可能なことと、実際に現場で起きていることの距離はなお未解決の問いであり、専門家は、もはやコンピューター科学者だけが問う問題ではないと述べている。
「私たちは、『このデータはそもそも人間のものなのか』という問いを、研究者が他の何より先に問わなければならない正当な方法論上の問題として扱う段階に来ている」と、Prolific for Researchのバイスプレジデントであるフランキー・ブライアントは述べた。「それに確信を持って答えられないプラットフォームは負債となる。今日、研究成果を公表する研究者は誰でも、データが何を示しているかだけでなく、そのデータがどこから来たのかを説明できなければならない」
筆者の会社であるProsper Insights & Analyticsが米国の成人7600人超を対象に実施した最近の調査によると、40%がAIには人間による監督が必要だと答え、33%がAIの背後にあるデータについてより多くの開示が必要だと答えた。AIが自分たちの最善の利益を考えているとは信頼していないと答えた人は、30%近くに上った。
Prosper - 人工知能の最近の進展に関する懸念
Prosper Insights & Analyticsエージェント型AIを良い考えだと思う人は18%にとどまる一方、42%はそうではないと答えている。これらの結果は、あらゆる年齢層の人々が、AIに欺かれること、そして欺かれたときにそれを見分けられないことを懸念していることを示している。
Prosper - エージェント型AIは良い考えか
Prosper Insights & Analyticsこの不安は、学術的な調査パネルの外にも広がっている。市場調査担当者は、発売前に製品コンセプトや広告クリエイティブを検証するため、同じようなオンラインパネルを利用している。UXチームは、新しいアプリの導線や価格ページを検証するため、似たような参加者プールから募集する。政治世論調査、ブランドトラッキング調査、消費者インサイトチームはいずれも、調査質問に答えている「人」が実際に生身の人間であることを前提としている。その前提が弱まれば、不備のあるコンセプトテストに基づいて製品が発売されたり、実在しないペルソナに向けたキャンペーンが展開されたりする可能性がある。
MTurkを業務面で置き換えつつあるものの一部は、市場が向かう先を示している。勢いを増しているプラットフォームは、価格だけでなく、参加者ネットワークの規模と検証を競争軸にしているものだ。こうした主体は、ID確認、機械学習による不正検知、継続的な行動モニタリングを用い、悪質な行為者が質問に答える前に排除する。それは「数百万人のワーカーがいる」という売り文句とは意味のある違いがある。研究者や、その研究結果を読む経営幹部が、量よりも証明に対して対価を払うという賭けである。
この賭けは、検証が実際に機能することを前提としている。合成された回答が高度化するにつれ、検証は容易になるどころか難しくなっている。ダートマス大学の政治学者ウェストウッドは、検知が長期的な答えになるとは考えていない。彼自身の研究では、現実的な読解速度や人間らしいマウスの動きを備え、人間の調査回答者を模倣するよう作られたAIエージェントが、標準的な不正チェックを大半のケースで回避した。PNASの論文で、彼は明快にこう述べている。行動ベースまたは質問ベースの対策に頼る研究者は「負け戦を戦っている」のだ。
不正との戦いがすでにこれほど不均衡であるなら、検証プラットフォームも例外ではない。ID確認や行動モニタリングは、回答を偽装するコストを引き上げるが、どちらも扉を完全に閉ざすものではない。検証手法は、意味を持つほど十分に機能した瞬間に標的となり、合成回答者はそれに応じて適応する。
検証を省くコストは測定可能である。プラットフォーム間で質の高い回答1件あたりのコストを比較した2023年の研究では、MTurkのコストは、より厳格に審査されたパネルのおよそ2倍だった。検証に投資しているプラットフォームは、慎重さゆえにそうしているのであり、また、ダッシュボード上ではきれいに見えても、誰かが調べた瞬間に崩れ落ちる悪質なデータが代替案だからだ。
同じ力学は、企業がAIを一般的に導入する場面にも表れている。Gartnerは、エージェント型AIプロジェクトの40%超が2027年末までに中止されると予測している。理由は、技術そのものが完全に失敗するからではなく、投資収益率が不明確で、リスク管理が不十分だからである。研究パネルと企業のAI導入に共通する筋は同じだ。組織は、信頼性をどのように検証すればよいのか正確にはわからないシステムやデータの上に構築しているのである。
こうした現実は、AIエージェントやボットと並走して革新を続けていると信頼できる研究プラットフォームを持つことの重要性を示している。さらに、調査研究が進化するにつれ、不正を誰が見つけるべきかをめぐる期待も変わっていく。長年、雑然としたデータを整理し、ノイズが平均化されることを期待する負担は、主に個々の研究者に置かれてきた。だが、その負担は次第にプラットフォーム自身へと移っている。投資家の手元に貸借対照表が届く前に、監査人が不正を見つけることを期待されるのと同じである。データの買い手は、学術研究を実施している場合であれ、企業の市場レポートを読んでいる場合であれ、数字が何を意味するのかを問う前に、その数字がどこから来たのかについて厳しい問いを投げ続けなければならない。
これらのいずれも、人間がプロセスから姿を消す未来を示しているわけではない。検証システムのしきい値をどこに置くか、そして境界線上の回答を自動的に却下するのではなく再確認に値すると判断するかは、なお誰かが決めなければならない。MTurkの撤退はひとつの章を閉じるが、真正でないデータの脅威は残る。次に何が起きるかは、人間データがまさに人間のものであり続けるよう、研究者とプラットフォームが連携して取り組めるかにかかっている。
開示：上記で言及した消費者心理調査は、筆者の会社であるProsper Insights & Analyticsが実施したものである。これは全米小売業協会が使用しているものと同じデータセットであり、経済ベンチマーキング用にAmazon Web Services、Databricks、London Stock Exchange Groupから利用可能である。
