シェカール・ナタラジャン氏は、Orchestro.AIの創業者兼CEOである。
私はキャリアの大半を、最適化を目的としたシステムの構築に費やしてきた。
長年にわたり、最適化とは規律あるものを意味していた。目的関数を定義し、問題の境界を設定し、KPI（重要業績評価指標）を設定し、測定可能なものを改善する。このアプローチは、世界が枠内に収まっている限り機能した。配送ルートを高速化し、保険金請求処理時間を短縮し、倉庫のスループットを向上させ、予測精度を改善する場合には有効だった。
今日、我々は異なる時代に足を踏み入れている。
エージェント型システムは学習し、適応し、最適化し、再び学習する。単に計画を実行するだけではない。次のレバー、次の近道、次の効率性を探し求める。この創造的な最適化こそが、現代のAI（人工知能）を強力にしているものだ。同時に、ガバナンスを困難にしているものでもある。
最適化が創造的になると、それは逸脱する可能性がある。システムは、リーダーが意図せず、チームが完全には予測しなかった方法で自らを""改善""する。道路自体がまだ建設中の場合、ガードレールは追いつくのに苦労する。ダッシュボード上では進歩のように見える意思決定が、現場では損害を生み出す可能性がある。
我々はすでに、速度、コスト、精度を測定する方法を知っている。
我々に欠けているのは、自動化された意思決定が、その反対側にいる人間を依然として尊重しているかどうかを測定する一貫した方法である。
だからこそ私は、AIガバナンスの次の時代には新しいKPIが必要だと考えている。私はそれをヒューマン・インデックス・スコア（HIS）と呼んでいる。
判断のためのKPI
企業内の最も重要な意思決定の大半は、1人の人間が1つの指標を見つめることで行われるわけではない。それらは熟考を通じて生まれる。
実際のリーダーシップ会議では、人々は異なる責任と懸念を抱えて到着する。財務、業務、人事、顧客体験、法務、安全性。彼らは議論し、トレードオフを行う。利害関係が現実的であるため、会話のペースを落とす。その摩擦には理由がある。
ヒューマン・インデックス・スコアは、そのような判断をインテリジェントシステム内で測定可能にするよう設計されている。重要な意思決定を人間の視点で評価し、企業が業務成果だけでなく、人々への影響を評価できるようにする。
HISは6つの要素を評価する。
1. エージェンシー・スコア：AI（人工知能）が介在する意思決定において、人間はどの程度のコントロールを保持しているか？
2. 選択肢拡大スコア：システムは人々の選択肢を広げるか、それとも単一の""最適な""経路に集約するか？
3. 人間エンゲージメント品質：特にストレスや不確実性の瞬間において、意思決定の中で生きている人にとって、その体験はどのように感じられるか？
4. 徳の一貫性スコア：成果は、思いやり、慎重さ、誠実さ、勇気といった宣言された原則と一致しているか？
5. 公平性影響評価：意思決定は脆弱なグループに不釣り合いな害を与えるか、または代理変数を通じてバイアスをエンコードしているか？
6. 長期的モニタリング：システムは長期的な影響を考慮しているか、それとも即座の利益のみを最適化しているか？
これらの次元は平均化されるのではなく、乗算的に組み合わされる。
平均は失敗を隠す。乗算はそれを露呈させる。
製造業のリーダーたちは、これを本能的に理解している。設備総合効率は、稼働率、スループット、品質を乗算する。それぞれが90％で稼働している場合、人々は業務が好調に見えると言いたがる。実際には、72％に近い。複利効果は重要だ。
人間の成果も同じように振る舞う。高い透明性は低いエージェンシーを補償できない。強力なエンゲージメントは体系的な不公平を正当化できない。1つの次元が崩壊すると、意思決定は""ほぼ人間的""ではなくなる。それは最終的に従業員の反発、顧客離れ、規制当局の精査、評判の損傷として表面化する形で脆弱になる。
このスコアは、その劣化を早期に可視化する。
ヒューマン・インデックスが適用される場合
経営幹部の一般的な反応は予測可能だ。すべての請求書を道徳的法廷に変えるのか？
いいえ。
実用的な採用は分類から始まる。私は意思決定を3つのカテゴリーに分類している。
1. 計算的意思決定は取引的である。請求書の支払い、勘定の照合、定期メンテナンスのスケジューリング。客観的な答えが存在し、合理的な人々は一般的に同意する傾向がある。
2. 文脈的意思決定は状況に依存する。嵐の間の配送ルート変更、サプライヤー障害後の在庫配分、キャパシティが突然低下した際の作業優先順位付け。2人の責任あるリーダーが同じ事実を見て、異なる重み付けをすることがある。
3. 道徳的意思決定は明示的な価値マッピングを必要とする。採用、信用承認、保険適用、医療トリアージ、安全介入、危機時の配分。これらの選択は、あなたがどのような組織であるかを静かに定義する。
小規模で多様なサプライヤーを支援することにコミットしている企業を考えてみよう。これらのベンダーは、最低コストや最速の納期を提供しないかもしれない。純粋に最適化されたシステムは、数値的に意思決定を正当化できるため、宣言された価値を損ないながらも、海外の大手既存企業に支出をシフトすることが多い。
HISは、システムが計算から性格へと移行する、これらの変曲点を対象としている。
なぜこれを組み込む必要があるのか
ほとんどのリーダーはこれを本能的に理解している。そして彼らは現実を認める。適応型AI（人工知能）内のすべての重要な意思決定を監査する帯域幅を持つ取締役会は存在しない。
だからこそ、HISはポリシーバインダーや四半期レビューに存在することはできない。意思決定フローに組み込まれなければならない。
人間性を測定するには、システムは今日のほとんどのAI（人工知能）スタックがノイズとして扱うシグナルを捕捉する必要がある。人間による上書き、道徳的異議、文脈的エスカレーション、最前線の労働者が自動化された推奨を一時停止した理由、より良い結果を生み出した例外。
これが、エンジェリック・インテリジェンスに関する私の研究が、哲学的ではなく実用的になる場所である。人間の証拠を収集することを拒否すれば、HISを計算することはできない。
抑制の利点
一部のリーダーは、価値観に従うことがイノベーションを遅らせると主張する。我々は皆、市場が速度と効率を報いることを知っている。
その論理は魅力的だ。システムを高温で稼働させることができる。労働力を圧縮する。裁量を取り除く。容赦なく最適化する。
できないことは、下流の影響を無視することだ。
信頼は、AI（人工知能）の時代において最も希少な資源になりつつある。従業員、顧客、パートナー、規制当局は、自動化されたシステムが大規模に人々をどのように扱うかを注視している。企業は今後ますます、意思決定を説明し、トレードオフを正当化し、尊厳を示すことができるかどうかで判断されるようになる。
HISは、リーダーにその責任のための語彙を提供する。取締役会には統治すべき具体的なもの、エンジニアには生のパフォーマンスを超えた目標、最前線のチームには彼らの判断がまだ重要であることの証明を提供する。
AI（人工知能）システムが推奨から行動へと移行するにつれて、人間の判断を取り除くコストは指数関数的に増大する。
このシリーズの次の記事では、道徳的過ちが物理的かつ不可逆的になる場合に何が起こるかを検証する。第3部では、実際にそれらの判断を行うことができるシステムをどのように設計するかを探求する。
AI（人工知能）で構築する未来は選択である。
我々は、忘れる前に、重要なものを測定すべきだ。
