このプログラムが、有名大学のハイレベルなコースに合格していることを考えれば、同じようにハイレベルな学校への入学を成功させることができるのだろうか？ ChatGPTは、アイビーリーグ入試の競争の世界で目立つ入試エッセイを作成することができるのだろうか？
USMLEとMBA試験でのプログラムのパフォーマンスを分析すると、大学入試の世界でChatGPTができること、できないことについて、いくつかの有益な洞察を得ることができる。どちらの場合も、プログラムのパフォーマンスで最も注目すべき点は、おそらくケーススタディに対応する能力で、データセット入力から直接引き出されない結論に到達し、説明することができた。おそらくChatGPTが最も洗練されたかたちであるLLMsは、確率に基づいたテキストを生成し予測するために、膨大な量の言語入力を使って動作する。ChatGPTは、人間の会話のニュアンスを模倣し、高度に文脈に沿った応答を生成する複雑な能力を持っているため、特に注目されている。
USMLEとMBAの試験には、ニュアンスの異なるシナリオや難しい誤解を招くような表現、つまり、演繹的推論が必要な問題などが出題された。このような難問にもかかわらず、ChatGPTは理路整然としたほぼ正しい解答を提供することができた。マック・インスティチュートの共同ディレクターで、MBA試験を実施した研究者のクリスチャン・ターヴィーシュは「ChatGPTはケーススタディに基づくものを含め、基本的なオペレーションマネジメントやプロセス分析の問題ですばらしい仕事をします。回答が正しいだけでなく、解説もすばらしいです」と述べている。同様に、USMLEでの結果を分析する研究者は、「AIが生成した回答は重要な洞察を提供し、人間の学習者にとって貴重な演繹的推論プロセスのロールモデルになります。答えの90％には重要な洞察が含まれていました。ChatGPTは、学習者が意識していないような斬新で明白でない概念を明確にすることによって、医学を教える部分的な能力を持っているのです」という。他の先行するLLMのばージョンは、プログラムに直接入力されたデータから答えを引き出すのに対して、ChatGPTは、入力されたものに隣接する情報を検出することができ、独立した推論のようなものを作り出すことができるのだ。
