ソーシャルメディア（Facebook、Instagram、TikTok）やゲームプラットフォーム（Minecraft、Roblox）のオンライン監視は、表面的にはAIが自然に適合する分野の1つに過ぎない。人事（HR）も同様だ。とはいえ、AIは手作業による人間の労働を完全に代替するものではない。ラベリング、監視、品質保証（QA）など、人間とAIが協力することで、企業がこれまで以上に効果的かつ効率的に業務を遂行できる分野が存在する。
どのプラットフォームを使用するにせよ、消費しているメディア（テキスト、音声、動画）がAIによって作成されたものかどうかについて、正確なラベルを付けることが重要だ。ここでラベルが登場する。ロイター通信は、英国が「消費者を偽情報やディープフェイクから守るため、AI生成コンテンツへのラベル表示を義務付ける」ことを検討していると報じた。これは理論上は良いことだが、ラベル自体の正確性を判断することは、まったく別の課題である。IEEE Spectrumの記事は、理想的なラベリング手法の決定には「人間のフィードバック、合成データ、それらの組み合わせ、あるいはまだ発見されていない新しい技術」が関与する可能性がある不確実な未来を指摘している。
AIを盲目的に信頼しないようにするには、監視が必要だ。何千もの求人応募書類を審査するHR AIエージェントを考えてみよう。AI自体には独自のバイアスがあり、人間がそれをチェックすべきである。Solutions Reviewは、複雑な治験プロトコルを提示する際のニュアンスを判断する場合など、人間による監視が違いを生み出せる思慮深い例を提供している。例えば、「情報が正確で、理解可能で、リスクを完全に開示しているか」、あるいは患者が「どのようなデータが収集され、どのように分析されるかを理解しているか」といった場合だ。
このような監視がないと、AIは訓練されたデータに基づいて誤った仮定を行う可能性がある。2024年のかなり極端な例として、ニューヨーク市の複雑な官僚機構を中小企業経営者がナビゲートするのを支援するチャットボットがあった。これは理論上は問題ないが、実際には、違法なこと（「企業は堆肥化する必要はない」）から不条理なこと（「ネズミにかじられた跡があるチーズを顧客に提供できる」）まで、あらゆることをユーザーに提案していた。レーガン大統領が有名な言葉で述べたように、「信頼せよ、されど検証せよ」である。
ソフトウェアテストに関しては、AIは目新しいものではない。自動テストは、高度に再現可能な標準テストに関して、数十年にわたって人気を博してきた。それでも、AIがすべてを実行できないシナリオが存在する。最近のブログで、Squadは人間の直感が最適である行動の明確な例を示した。「QAエンジニアは探偵のように行動し、微妙な不整合、奇妙なインタラクション、まれな入力の組み合わせによって引き起こされるクラッシュを発見する。これは、ルールに縛られたAIには再現できないものだ」
企業は単にすべてをAIに引き渡し、利益が転がり込んでくることを期待することはできない。すべてのAIはデータで訓練されており、データセットはデータドリフトを防ぐために更新、レビュー、修正される必要がある。より多くの企業がAIツールへの依存度を高める中、人間による監視の必要性はかつてないほど重要になっている。AIの欠陥を認識することで、企業はより強力なエンドユーザー体験を提供できる。
