━━いたずらに人が多い組織よりも、考えが近い少数精鋭のチームで取り組んだほうがうまくいく場合もあると思います。こういった研究の技術開発はそれなりに時間を要するので、なおさらメンバー間の理解と方向性が一致しているのが重要かと。OpenAIは機を見るに敏でしたが、それでも「GPT-1」の発表まで18カ月近くかかっています。
ジョーンズ： 確かに。それでも、Googleがただ技術を放置していたと言うのは違います。例えば、その直後に作られた「BERT」という技術はご存知ですよね（編集部註：Transformerの双方向エンコーダ表現を導入。自然言語理解の精度を大きく向上させた。2018年10月に発表）。GoogleはBERTを迅速にGoogle検索に統合しています。ChatGPTが登場するずっと前から、BERTはGoogle検索の極めて大きな割合を支えていました。
もちろん、外部の人にはそれがTransformerの活用事例には見えなかったでしょう。私がTransformer論文発表後に所属していたチームが、「Talk to Books」という最初のTransformerベースのチャットボットを開発しています。あまり人気が出なかったので、今も公開されているか分かりませんが（編集部註：2018年4月発表。現在はサービス終了）。対話形式ではなかったものの、Googleがアクセスできるすべての書籍に対して、Transformerモデルを使って最適な回答を見つけ出すという仕組みでした。チャットボットに思えないかもしれませんが、チャットボットはレイ・カーツワイル（Raymond Kurzweil；AI研究の世界的権威で、シンギュラリティに関する著述で知られる。現在はGoogle所属）が常に推していたようなもので、彼は「これがインターフェースだ」と話していました。
私たちはまず「質疑応答」から始めました。Transformerにそうした能力があることを示す最初のデモンストレーションの一つでした。そして正直に言うと、当時は「これをどうやって（自分が取り組みたいプロジェクトにたどり着けるよう）昇進につなげようか？」と考えていましたね。その一つは、技術を製品に統合する手助けをすることです。どのチームが実現できそうか考えたところ、Google翻訳だと思いました。Google翻訳のチームは、すでにTransformerを翻訳技術に統合する作業に取り組んでいました。そこで、その最適化を手伝うために自分の専門知識を提供しました。
Beam Search（ビームサーチ）という探索アルゴリズムや、Transformerの効率的なデコーディングに多くの時間を費やしました。今では他の多くの人によって何度も再実装されていますが、当時は新しく、実装も簡単ではありませんでした。私が効率的なデコーディングとビームサーチの実装を手伝ったことで、論文にあったように翻訳結果が向上しました。それが製品としてリリースされ、私の書いたコードが本番の翻訳システムに導入されたのです。これで無事に昇進することができ、その後、レイ・カーツワイルのもとへ行くことにしたのです。
