AIを「役に立ち、正直で、無害」に保ち、運用規範のセットに翻訳
そこで登場するのがダニエラである。彼女はその矛盾を整合させようとしている。2023年のインタビューでは、AIを「helpful, honest, and harmless」（役に立ち、正直で、無害）に保つという目標と、その取り組みの核心について語っていた。
当時ダニエラはFast Companyのマーク・サリバンに「私は、自分の仕事をこう捉えています。ダリオや他の技術リーダーが持つビジョンを受け取り、それを実際に運用規範のセットへと翻訳することです」と語っている。「研究者がどう協働するのか、私たちがどう製品に落とし込むのか、そしてそれをどうビジネスへ翻訳するのかという点です」。
「分からない」と技術的な不確実性を正直に認めつつ、開発を進めるアモデイ兄妹
こうした前置きを踏まえると、私たち人間社会は今、AGIを定義し、シンギュラリティを定義し、その枠組みの中で、AIそのものだけでなく、AIがもたらす恩恵を前進させるために働かなければならない状況にある（言いたいことは伝わるだろうか）。その文脈で必要なのは、誇大宣伝ではなく率直な議論だ。
「ダニエラが『私たちには分からない』と認めたこと、つまり現行のアプローチがこの先も機能し続けるかどうかは不明だと認めたことは、驚くほど正直です」と、シャーミンは前述のMedium記事で書いている。「兄のダリオは、業界を動かすスケーリング則の確立に貢献しました。現在兄妹は、純粋なスケールではなく、効率性に賭けています。そして、どのアプローチが変革的なAIに到達するのかについて、不確実性を認めています。その不確実性は、AGIという言葉をめぐる意味論的な議論より重要です。最先端のAIシステムを作っている当事者が、自分たちのアプローチがこの先も機能し続けるか分からないのなら、タイムラインについて自信満々に語る他の人々は、おそらく考え直すべきでしょう」。
その通りだ。
「分からない」が示す、AGIという未知の存在
「分からない」は、AIがある意味で人類と競合する世界を考えるうえで、非常に重要なフレーズになっていく。これは、AIについて一部の人々が挙げるようなジョン・ヘンリー（肉体労働において、特定のタスクを機械と競った伝説上の労働者）の話ではない。汎用的な知能を持ち自ら判断しうる存在、しかも開発者にとっても未知の存在といえるAGIの話だ。ここには大きな転換点がある。
知識・推論・反復の能力を持つ存在として、人間と対比させてAGIを説明
曖昧さや抽象性はあるにせよ、AGIという概念はより単純なものに要約できると考える向きもある。
Sequoiaのパット・グレイディとソニア・ホアンは「2026: This is AGI」（2026年：これがAGIだ）という題で、次のように書いている。
「物事を解き明かせる人間には、ある程度の基礎知識があり、その知識に基づいて推論する力があり、答えにたどり着くまで試行錯誤を重ねる力があります。……物事を解き明かせるAIにも、ある程度の基礎知識（事前学習）があり、その知識に基づいて推論する力（推論時の計算資源）があり、答えにたどり着くまで反復する力（長期にわたって動くエージェント）があります」。
このように要素分解してラベルを付けることもできるし、ダニエラ・アモデイのように、この技術はあることについてはAGIの基準を満たしているが、別のことについては満たしていないと言うこともできる。
いずれにせよ、この議論を真剣に受け止めなければならないのは明らかだ。
今後の展開から目が離せない。
