━━エンジニアリングよりも、もっとAIについての本質的な研究に興味があったのですね。
ジョーンズ：ソフトウェア・エンジニアリングは本当に楽しいですよ。今後（Sakana AIで）製品を開発する際には、その専門知識を存分に活かすつもりです。ただ自分の理想の仕事を考えた時、YouTubeでの仕事もそれに近かったかもしれませんが、AIの研究こそが「本当にやりたいのは、これなんだ」と思えるものでした。
Googleでは昇進すると社内での評価が上がって、部署異動がしやすくなるんです。だから昇進を機に、「このチャンスを活かして、本当にやりたいことにもっと近づこう」と考えていました。そしてYouTubeにいた頃、とても仲のいい同僚がいたんです。その同僚が別のチームに移ったので、「そっちのチーム、まだ誰か入れる余裕ある？」と聞いてみたんです。すると彼は「たぶん大丈夫だと思う。マネジャーに紹介するよ」と言ってくれて。そのマネジャーが、イリヤ・ポロスキン（Illia Polosukhin：Transformer論文の共著者）でした。
当時は確か、18カ月ごとの部署異動が奨励されていました。それぞれの専門知識を掛け合わせたほうが、良いものが生まれると考えられていたんですね。私にとってもよいタイミングの異動でした。半年ほど、社の古いAI、いわゆる「古き良き」時代のAI技術に携わることになったからです。そのAIとは、インターネット全体をスキャンして、あらかじめ用意したテンプレートに合う情報を探すというものでした。例えば「パリはフランスにある」といった記述を見つけると、それを「事実」として抜き出してデータベースに格納していくわけです。でも、所詮は「古き良き」AIですから、残念ながらあまり上手くは機能しませんでした。
どういうことかと言うと、本来なら抽出してはいけない、おかしな“事実”まで拾ってきてしまうんです。典型的な例が「鉛筆の芯は鉛でできている」と、システムが判断してしまうことでした。なぜ、こんなことが起きるのか？ 鉛筆の芯は「鉛」ではなく、「炭素」でできています。でも、そんな当たり前のことは、誰でも知っているのでネット上にはあまり書かれていません。逆に、ふつうとは違う「例外的なこと」は話題になりやすい。だから結果的に、「本物の鉛を使った鉛筆」といった例外的な情報のほうが、システムにとっては目立ってしまったのです。
このプロジェクトの後、会社はディープラーニングへと大きく舵を切りました。深層ニューラルネットワークを使った、イリヤ・サツケバー共著の「Sequence to Sequence Learning with Neural Networks」という論文により、リカレントニューラルネットワーク（RNN）でテキスト処理ができると示されたのがきっかけです。私たちは早速、その技術をこの問題に応用し始めました。その成果は「WikiReading: A Novel Large-scale Language Understanding Task over Wikipedia」という論文にまとめられています。対象はインターネット全体とまではいきませんでしたが、ウィキペディアの情報を丸ごと読み込ませて、それに関する質問に答えられるシステムを目指したのです。
ついでに一つ面白い話をすると、じつは私がディープラーニングの世界にのめり込む直接のきっかけは、コンピュータ・ビジョンでした。その分野が何よりも面白く思えたのです。ところが友人を追ってそのチームに移った結果、私は自然言語処理（NLP）を行うチームに所属することになりました。もちろん、Transformerが最終的に得意とした分野です。
