Oracle Cloudでクラウドインフラの課題に取り組んでいたアムリタンシュ・ジェインと、Google検索の元スタッフのデヴァンシュ・ガタクが2022年に創業したSimplismartは、新しい「推論エンジン」を開発した。これはソフトウェアエンジニアが生成AIを用いた製品を開発する際に、基礎となるモデルがクエリに応答する時間を短縮するために使うことができる標準化された言語だ。
「生成AIに取り組んでいる企業がアプリケーションやユースケースを構築する際に使える、シンプルで使い勝手のいい言語」とジェインは説明する。AIモデルなどを独立して分析するartificialanalyis.aiが実施したテストを指し、「現在入手可能なものの中で最速の推論エンジンを開発した」とも言う。Simplismartによると、同社のエンジンを使用しているすべての顧客で生成AIモデルからの応答時間を少なくとも80％短縮し、多くの場合、数百ミリ秒にまで縮めているという。
生成AIでスピードがものをいう理由はたくさんある。第一に文章コンテンツ、音声、画像のどれであろうと、アプリケーションを動かすモデルの応答に時間がかかればかかるほど、テックインフラにかかるエネルギーコストがかさみ、それは相当なものになる可能性がある。よって、応答時間が短くなれば経費を抑えられることになる。
加えて、スピードが上がればエンドユーザーの体験も向上する。例えば、音声の場合、AIで動くチャットボットがリアルタイムで応答できれば、顧客は自分がAIのチャットボットとやり取りしていることに気づかないかもしれない。コンテンツの場合、新しいテキストや画像を素早く生成できればユーザーの作業はより生産的なものになる。
「0.5秒という時間は、個別に問い合わせる個々のユーザーにとってはたいした時間ではないかもしれないが、規模が大きくなれば話は違ってくる」とジェインは言う。「顧客が諦めて他の場所に行ってしまうことだってあるかもしれない」
Simplismartのエンジンは主に生成AIを念頭に製品やサービスを開発している企業をターゲットとしているが、テクノロジーを利用するあらゆる企業が範疇に入る可能性がある。「全体的な視野に立とうとしている」とジェインは話す。「企業がインフラをコントロールし、データプライバシーを確保し、オーケストレーションを可能にしたいと考えていることを知っている。なので、当社は企業に新しい生成AIアプリを開発する際に使用できる言語を提供する」
