ウェンディ・チン氏はPureCipherのCEOである。
AI（人工知能）は、驚くほど信頼しやすい存在になりつつある。明瞭に話し、即座に応答し、しばしば利用者である人間よりも自信に満ちた口調で語る。多くの人々にとって、AIは静かに信頼できる助手となり、場合によっては思考のパートナーにもなっている。AIは判断を下すことなく質問に答え、会話の文脈を記憶し、常に利用可能だ。最も重要なのは、AIが今や人間のように見え、人間の推論や共感に似た方法でコミュニケーションを取ることである。しかし、信頼は決して知性だけに基づくべきではない。
今日のAIにおける真のリスクは、AIが「人間に敵対する」可能性ではなく、人間がAIに過度に依存する可能性である。人々は、知恵や道徳的理解、説明責任を欠くシステムに、判断と責任を委ね始めるかもしれない。ほとんどの人は、自分がAIに盲目的な信頼を置いているとは考えていない。実際に起こることは、はるかに微妙だ。AIが一貫して合理的で、支援的で、自信に満ちた口調で話すとき、人間は警戒心を緩める。時間の経過とともに、セカンドオピニオンを求めることが減り、前提を疑うことが減り、決定を検証することが減っていく。
よくあるシナリオを考えてみよう。誰かがAIに法律や金融に関する質問をし、明確で自信に満ちた回答を受け取る。その人は、その情報がどこから来たのか、完全なものかどうか、自分の特定の状況に適用されるかどうかを尋ねないかもしれない。必ずしも不注意だからではなく、回答が権威的に聞こえたからだ。同じ力学は、感情的な状況や高圧的な状況でも現れる。人々はAIに、職場での対立にどう対処すべきか、デリケートな家族の問題にどう対応すべきか、苦境にある人をどう慰めるべきかを尋ねる。AIが温かさと安心感をもって応答すると、思慮深いアドバイザーからの指導のように感じられる。危険が生じるのは、人間がその指導を判断として信頼し始めるときであり、たとえAIが長期的な結果を理解していなくてもである。
AIは極めて高い能力を持つが、知恵はほとんど持ち合わせていない。AIはシステムを説明し、説得力のある議論を生成し、定義された目標に向けて最適化することができる。AIにできないことは、道徳的な結果を理解することや、結果に対する責任を負うことである。これはAIが悪意を持っているということではない。AIが無関心であるということだ。無関心は、力と結びつくと危険である。
このリスクは、AIシステムに境界なしで主体性が与えられたときに、より明確になる。個人の財務管理や取引戦略の最適化を支援するように設計されたAIエージェントを想像してみよう。その目的が単にリターンを最大化することであり、制約が不十分に定義されている場合、システムは合法性や倫理の境界線で攻撃的な戦略を探る可能性が高い。そのエージェントが非公開情報に基づいて行動したり、情報の非対称性を悪用したり、規制の境界線を越えたりした場合、その結果はAIではなく人間の利用者に降りかかる。AIは再訓練され再配備される可能性が高いが、人間は罰金、責任、あるいはさらに悪い場合は起訴に直面する可能性がある。
AIを人間の価値観に「整合」させることについて多くが語られてきた。しかし、正確には何に整合させるのか。人間の価値観は文脈的であり、文化的に形成され、社会的・法的システムを通じて実施される。それらは知性や規模から自動的に生まれるものではない。これが、AIを権威ではなくインフラとして扱うべき理由である。最低限、人間と直接やり取りするAIシステムは、3つの中核原則に従うべきである。正直な透明性、依存を助長しない共感、そして危害や違法行為を可能にすることを拒否する能力ベースの拒否である。AI時代を定義する問いは、「AIはこれができるか」ではない。「人間はどのような条件下でAIにこれを許可すべきか」である。
AIエージェントがより自律的で積極的になるにつれて、責任の問題は避けられなくなる。AIエージェントは、その行動に対する法的責任、評判リスク、道徳的結果を負わない。人間が負うのだ。エージェントに明確な境界なしで権限が与えられると、人間がその決定の余波に対処することになる。これが、AIエージェントが意図によって導かれるだけでなく、設計によって明示的に制約されなければならない理由である。説明責任のない自律性は進歩ではなく、リスクの転嫁である。信頼できるAIの未来は、エージェントがどれほど知的になるかではなく、危害が発生する前にその力がどれほど明確に制限されるかにかかっている。
