「人工的好奇心」が明かす、AIが「探索」を学ぶ仕組み
研究者がAIにマリオブラザーズのゲームをプレイさせる訓練を行った実験について、耳にしたことがあるかもしれない。ただし、その実験では報酬の獲得方法が変更されていた。ステージをクリアしたり好成績を収めたりすることでポイントを得る代わりに、予測していなかった事態に遭遇したときに報酬が与えられたのだ。同じパターンを繰り返して予測可能になると報酬が減るため、AIは常に新しいことを試し続けなければならなかった。その結果、興味深い事象が起きた。システムは勝利にこだわるのをやめ、探索を始めたのだ。それまで見たことのない領域へ移動し、すぐには成功につながらない行動を試し、次に何が起こるかを見るためだけに、自ら失敗するような状況に身を置くことさえした。ただゴールに到達するのではなく、次の角の先に何があるのかに好奇心を持ち続けるよう促す、まったく異なる動作方法を学習せざるを得なくなったのだ。これが、この実験が「人工的好奇心（artificial curiosity）」の極めて有名な例となった理由である。
マリオの先へと広がる人工的好奇心
研究者がこのような行動を目にしたのは、この時だけではない。昔のアタリ風のゲームを使った別の一連の実験では、異なる問題に直面した。これらのゲームでは報酬が頻繁に与えられないため、大半のシステムは何をすべきか分からず、ただ停止してしまっていた。しかし、人工的好奇心を導入すると、それらのシステムは動き続けた。これまで入ったことのない部屋を探索し、以前のバージョンでは到達できなかったゲームの領域を明らかにしたのだ。明確なルートをたどる代わりに、そこに他に何があるのかを突き止めようとしていた。
また、マリオの実験に続き、最も話題を呼んだ発展形の一つもある。研究者は「内発的好奇心モジュール（intrinsic curiosity module）」と呼ばれるものを構築した。このシステムは次に何が起こるかを予測しようとし、その予測が外れたとき、その誤りが有用な情報となる。これにより、状況を完全には把握できない環境に身を置き続けるよう促される。エラーを避けるのではなく、前進し続ける理由としてエラーを利用し始めるのだ。
研究者は、進むべき明確な道がない、より複雑な環境でこのテストを続けた。そうしたケースのいくつかでは、システムが何かを試し、調整し、再び試すというプロセスを繰り返すことで、以前のバージョンがすでに機能している手法に固執して解決できなかった問題を、徐々に克服する方法を見出していった。
人工的好奇心の実世界への移行
人工的好奇心は、ゲームの世界にとどまらなかった。研究者は、予測が不可能な実世界（物理的環境）やロボットに人工的好奇心を応用し始めた。すべての動作ステップをプログラミングする代わりに、システムが環境と相互作用し、起きたことから学習できるようにしたのだ。
これらの実験では、システムが何かを試し、その結果に基づいて調整し、再度試す。時間が経つにつれ、一つのやり方に縛られないため、より柔軟になっていく。決められたスクリプトに従うのではなく、遭遇した状況に基づいてどのように対応すべきかを学習しているのだ。
また、複数のシステムが同時に探索を行い、発見したことを共有する実験も行われた。それぞれがゼロから始めるのではなく、互いの成果を積み重ねていった。これにより、同じ間違いを何度も繰り返すことがなくなり、学習プロセスが迅速化し、より的を絞ったものになった。
人工的好奇心とこれからの働き方とのつながり
進むべき道が明確でなく、次に何をすべきか分からない状況において、システムはよりうまく機能するようになりつつある。指示を事細かに受けることなく、物事を試し、調整し、前進し続ける方法を学習しているのだ。こうした類の業務は、従来は人間に依存しており、特に自分で解決策を見出すことが求められる職務においてその傾向が強かった。
人工的好奇心が向上し続けるにつれ、システムは単に定型業務をこなすだけではなくなる。不確実性が存在し、前進するためにさまざまな可能性を探索する必要がある状況にも対応し始めるだろう。これは、従来であれば人間が介入し、判断を下し、進めながら解決策を見出す必要があった類の業務である。長年、創造性と好奇心を持つことが人間を不可欠な存在にすると言われてきたが、その前提は変わりつつある。システムが同様の探索をより得意とするようになるにつれ、こうした責任の一部は人間から機械へと移行し始めるだろう。特に、問題解決力や好奇心が人間の強みとみなされてきた職務において、その傾向は顕著になる。
人工的好奇心が本当に意味すること
機械は人工的好奇心を通じて、かつては人間がその場その場で思考を巡らせることで成り立っていた状況において、自ら解決策を見出す方法を学んでいる。システムが自律的に探索し、調整し、学習できるようになったとき、私たちは次にどこに目を向けるべきなのだろうか。今日の仕事現場の一部では、すでにその初期段階を目にすることができる。今後も必要とされ続けるのは、好奇心をさらに深め、より優れた問いを投げかけ、新しい方法でアイデアを結びつけ、明快ではない領域へと進出できる人々だろう。
