Claude 3(クロード3)と呼ばれるアンソロピックの新モデルのファミリーには、性能と価格が異なる3つのバージョンのOpus(オーパス)、Sonnet(ソネット)、Haiku(ハイク)が用意されている。最もパワフルで最も高価なバージョンであるOpusは、OpenAIのGPT-4とグーグルのGemini 1.0 Ultraを、一連のベンチマークで上回ったと同社は述べている。OpusとSonnetは4日から利用可能になり、Haikuは後日リリースされる。
アンソロピックの共同創業者でCEOのダリオ・アモデイはインタビューの中で「このモデルファミリーはさまざまなビジネスユースケースを念頭に置いて設計されている。特にOpusは、さまざまなタスクにおいて世界最高の性能を発揮するモデルだ」と述べている。
最もインテリジェントなモデルであるOpusは、MMLU(学部レベルの一般知識)やGSM8K(基礎数学) 、HumanEval(コーディング)、ARC-Challenge(一問一答の知識)などの一般的な評価ベンチマークのほとんどで、GPT-4やGemini 1.0 Ultraなどの他のモデルよりも優れている。さらに、一般知識ベンチマークにおいては、フランスのAIユニコーンMistral(ミストラル)が先週リリースした最上位モデルのMistral Largeを上回ったとされる。
しかし、最も利用が見込まれるバージョンのSonnetのパフォーマンスは、GPT-4とほぼ同等で、一部の指標では他のモデルを上回るが、下回る指標も存在する。アモデイは、アンソロピックのベンチマークが、GPT-4 Turbo やGemini 1.5 Pro などの、まだ指標を開示していない競合の最新モデルを考慮に入れていないことを認めた。その上で彼は「当社が競争力のある結果を出さなかったとしたら驚きだ」と述べている。
Opusの100万トークン(書籍2500ページ分のテキストに相当)あたりのコストは、入力が15ドル、出力が75ドルとなっている。この価格は、同じボリュームの入出力がそれぞれ10ドルと30ドルのGPT-4 Turboよりも高額だ。
アモデイは、Opusが複雑なデータ分析や生物医学研究のような最先端の性能を必要とする分野で使われることを期待しているとフォーブスに語った。
一方、Sonnetのコストは、入力が3ドル、出力が15ドルとOpusの5分の1で「大規模なデータの検索や売上予測、コード生成などのほとんどのタスクに適している」とされている。
また、最も安価なHaikuのコストは、入出力がそれぞれ0.25ドルと1.25ドルに抑えられている。このモデルは「顧客とのやりとりやコンテンツのモデレーション、物流の最適化や在庫管理」などに向いているとされている。Haikuは、今から8カ月前にリリースされたアンソロピックのClaude 2(2)と同等のパフォーマンスを発揮しており「同クラスの他のモデルと比較しても非常に競争力がある」とアモデイは述べている。