AIは「情報の副操縦士」
Microsoftは以前にコードレポジトリサイトのGitHubを買収し、公開されているコードで学習させたモデルが新しいコードを書くGitHub Copilot（副操縦士）をリリースしている。特にEdgeとの統合は、AIを「情報の副操縦士」として、人間が対話型AIと共同で情報処理を行っていく未来を垣間見せるものである。これはMicrosoftの既存の業務向け製品ラインとは非常に相性がいい。Wordでのドキュメント作成、Excelでのデータ分析、PowerPointでのスライド作成、Outlookでのメール作成などのあらゆるタスクに生成AIは活用できるだろう。
MicrosoftはOpenAIに2019年の時点で1000億円という巨額の投資を行っている。その慧眼には舌を巻くほかない。この開戦時点では、Microsoftが先陣を切ったように見える。
Googleの発表はどう見てもChatGPTに始まるMicrosoft／OpenAIの動きを見ての後追いである。皮肉なのは、GPTシリーズの基礎となっている大規模言語モデルの技術はGoogleで確立されたものであり、Googleは大規模言語モデルの研究開発で先行していたことだ。
GPTはGenerative Pretrained Transformerの略である。このTransformerというのは、2017年にGoogleのAI研究チームが発表した「Attention is all you need」という論文の中で提示された自然言語などの一次元情報を主な対象とした機械学習手法だ。
それまで自然言語処理で主流だったLSTM（Long Short-Term Memory＝長・短期記憶。深層学習の分野における再回帰型ニューラルネットワークアーキテクチャ）は、文章を逐次処理するため、モデルの状態が文章の最後に影響されやすい（長い文章をきちんと扱うことが難しい）、並列化が難しく大規模なデータのトレーニングが難しい、という弱点があった。
Transformerは、LSTMのこれらの弱点を解消し、自然言語処理タスクの性能を大きく改善した。
Googleのチームはその後Transformerを用いた言語モデルのBERTを開発し、言語モデルのスタンダードとなっていく。Googleはその後も2021年にChatGPTのような対話モデルのLaMDAを発表するなど、対話型AIについての研究開発を積極的に進めていた。
このLaMDAは、関わっていたエンジニアが「意識を持っているから人権を認めるべきだ」という主張をして話題になった（このエンジニアはのちにGoogleを解雇されている）。
