シェカー・ナタラジャン氏は、Orchestro.AIの創業者兼CEOである。
数カ月前、ある最高情報責任者（CIO）が私に語った言葉を、その後何度も耳にしている。
「リスクは理解しています」と彼女は言った。「ただ、どこから始めればいいのかわからないのです」
彼女は言い逃れをしていたわけではない。正直に話していたのだ。今日、私が会うビジネスリーダーの多くは、2つの圧力の間で板挟みになっている。競合他社がますます自律的なシステムで実験を重ねているのを目の当たりにし、自動化をより速く進める必要があると感じている。同時に、規制当局が監視を強める中、テクノロジーに対する社会的信頼が損なわれていくのを目撃している。
彼らは急ぎながらも、慎重に構築しようとしているのだ。
本シリーズの第1回と第2回では、人間への影響を測定するより良い方法が必要であること、そして物理的に作用するシステムは、導入後に倫理を後付けするアプローチの限界を露呈することを論じた。残されているのは、経営幹部を夜も眠れなくさせる実践的な問いである。
どこから始めるべきか？
コードではなく、分類から始める
ほとんどの組織は、まずツールを構築または購入することから始める。モデルのライセンスを取得し、パイロットプログラムを立ち上げ、ワークフローを自動化し、その後、何か違和感を覚えたときにガバナンスを後付けする。
しかし、この順序は間違っていると私は考える。
システムを稼働させる前に、リーダーはAIにどのような判断を委譲しようとしているのか、立ち止まって問うべきだ。機械的で範囲が限定された、AIの支援に適した問題もある。地域の状況に依存する問題もある。3つ目のカテゴリーが厄介なのは、人々、安全性、アクセス、尊厳に関する価値判断を伴うからだ。
創造的なシステムが最も早くトラブルに陥るのは、事前にガードレールを設定せずにこの3つ目のカテゴリーに踏み込んだときだ。リーダーが何を立ち入り禁止にすべきかを明確に示せなければ、システムは最終的に、書類上は効率的に見えても実際には腐食性のある解決策を見つけ出すだろう。
人間と同様に、価値観が最初から組み込まれていれば、道徳的に振る舞うことは容易になる。礼儀を学んだ幼児は、礼儀正しい大人になる。道徳的羅針盤を欠いたシステムは、（急速に）信頼も制御もできないものへと成長する可能性がある。
人間の経験が設計を形作らなければならない理由
ほとんどのAIプログラムは、データパイプラインとモデル選択から始まる。私は別の場所から始める。
訓練データはパターン、平均値、そして人々が以前に取った近道を捉える。誰かが自制を選び、プロセスを遅らせ、他者を傷つけないためにコストを受け入れた瞬間を保存することはほとんどない。そうした判断は例外としてラベル付けされ、除外される傾向がある。
しかし、リスクの高い環境では、それらはデータセット全体の中で最も重要なケースであることが多い。徳を備えたシステムは、それらの瞬間を破棄するのではなく、そこから学ばなければならない。
そのためには、価値観を運用可能な用語で定義する必要がある。時間が限られている臨床現場で、思いやりとは何を意味するのか？リスクモデルが一致しない融資において、慎重さとはどのようなものか？サプライヤーの価格設定が労働慣行と衝突したとき、誠実さは何を要求するのか？
答えは、スプレッドシートと同じくらい、物語の中に存在する。
なぜ配車担当者は、疲労したドライバーを保護するためにルーティングアルゴリズムを無効にしたのか？なぜ調達チームは、地域社会との関係を維持するために高いコストを受け入れたのか？なぜ採用マネージャーは、技術的には健全に見えても直感的に間違っていると感じたランキングを一時停止したのか？
これらの説明は、判断を、事後に消えてしまう英雄的行為ではなく、将来のシステムが引き出せる資源に変える。
道徳的熟考を機械に組み込む
これらの価値観が明確になったら、それらを誰かの机の上の方針文書に置いておくことはできない。意思決定ループの内部で機能させなければならない。
従来の安全フレームワークは、モデルの外側に浮遊している。フィルターは出力が生成された後に作動する。コンプライアンス層は誰かが苦情を言ったときに介入する。このアプローチは、システムが物理世界で行動し、ミリ秒が重要で結果が不可逆的になると、苦戦する。
徳を備えたシステムは異なる動作をする。競合する考慮事項を同時に比較検討する。効率性は安全性と並行して実行される。速度は尊厳によって和らげられる。短期的な節約は長期的な信頼とバランスが取られる。
私はこれをモラル・コルテックス・レイヤーと呼んでいる。なぜなら、これは、リスクが高いときに実際のリーダーシップチームがどのように振る舞うかを反映しているからだ。財務部門は一方向に押す。法務部門は別の方向に押す。現場のリーダーが質感を加える。顧客への影響が会話に入る。最終的な決定はこれらすべての競合する緊張を反映する。なぜなら、それが良い決定が下される方法だからだ。
この構造は、文脈に適応する必要もある。医療は金融サービスとは異なる道徳的期待を伴う。災害対応は日常的な調達とは似ていない。組織は、地域、業界、方針によって徳がどのように重み付けされるかを調整できるべきであり、同時にシステムにその作業を示すことを要求すべきだ。
アーキテクチャはまた、万能の技術スタックに抵抗することも意味する。二者択一のビジネス上の決定は、探索的計画と同じモデルを必要としない。エッジ環境は、集中型分析プラットフォームとは異なるハードウェアを必要とする。これらの選択は、流行ではなくリスクに従う必要がある。
人間をループに留め、そして人間から学び続ける
第1回で紹介したヒューマン・インデックス・スコアは、システムが人間の判断を平準化するのではなく観察するように構築されたときにのみ、現実のものとなる。
無効化、一時停止、異議、エスカレーションは、通常、自動化プログラムではノイズとして扱われる。徳を備えた設計では、それらはシグナルになる。
看護師が推奨事項を無視したとき、その説明は重要だ。物流プランナーが疲労を防ぐために経路を変更したとき、その根拠は記憶に残るべきだ。採用マネージャーがランキングに異議を唱えたとき、その推論はモデルの次のバージョンを形作るべきだ。
時間の経過とともに、これらの介入は将来の行動に影響を与える。
同じくらい重要な別の規律がある。それは自制だ。
すべてのプロセスが自律性に値するわけではない。すべての効率向上が道徳的リスクを正当化するわけではない。リーダーは、ROIに適用するのと同じ真剣さで、二次的影響を精査しなければならない。誰が下振れリスクを吸収するのか？失敗はどの程度可逆的か？システムは効率の名の下に、どのようなインセンティブを静かに学習しているのか？
これは極めて戦略的で思慮深い作業だ。自律システムは間もなく、どの経営委員会よりも多くの決定を下すようになる。
課題は、彼らが私たちのために決定を始める前に、私たちがどのような組織になりたいかを教えることだ。
