AI2GOの特筆すべき点は、そのシンプルさとパフォーマンスの高さだ。筆者はこれまで複数のエッジコンピューティングプラットフォームを利用したことがあるが、Xnor.aiのワークフローとユーザー体験には感銘を受けた。筆者は、わずか7分で安物のカメラに接続したRaspberry Pi Zero W上で物体検出を実行することができ、モデルは毎秒7フレームでリアルタイム推論処理を行った。
エヌビディアJetPackやOpenVINOツールキットのインテルDistribution、Google Edge TPUは、ニューラルネットワークをコンパイルするための最適化ツールを提供しているが、開発者はプラットフォームごとにSDKとAPIを学習する必要がある。その点、Xnor.aiはランタイム階層と最適化されたモデルをバンドルにして提供しており、AI2GOの学習に要する時間は、他のプラットフォームに比べて格段に短い。
Xnor.aiは、パブリッククラウドベースのGPUでトレーニングされる主要なニューラルネットワークを、資源が制約されるエッジデバイス向けに最適化している。そのプロセスでは、データの種類やニューラルネットワークの階層数を修正し、それぞれのプラットフォーム向けに最適化されたバイナリグラフとして再コンパイルしている。
盛り上がるエッジAI市場
Xnor.aiは、ソフトウェアプラットフォーム以外にも、カスタムAIモデルを搭載し、太陽電池で動くFPGA（field programmable gate array）デバイスも開発している。このデバイスはとても軽く、風船に取り付けることが可能だ。
筆者がXnor.aiをテストした際、GPUアクセラレータをうまく活用するためのメカニズムが見つからなかったが、同社が主流のAIアクセラレータに対応するのは時間の問題だろう。
「ONNX（Open Neural Network Exchange）」や「Apache TVM」は、複数のディープラーニングプラットフォームでモデルを実行することができる共通フォーマット作りを目指している。アマゾンは、機械学習サービス「SageMaker」とApache TVMを統合し、推論モデルの最適化を図っている。これは「Neo-AI」としてオープンソース化されており、商用バーションは「SageMaker Neo」として提供されている。
ONNXは、AWSやフェイスブック、マイクロソフト、インテル、エヌビディアなどの企業がモデルをフレームワーク間でインポート/エクスポートするための標準フォーマットとして使用している。ONNXには、ONNXフォーマットにエクスポートされたディープラーニングモデルを実行するためのランタイムが含まれている。
大手クラウドベンダーがディープラーニングのトレーニング向けに自社プラットフォームの普及に努めている一方で、Xnor.aiのようなスタートアップは、AIとエッジデバイスやオフラインアプリケーションとの統合をよりシンプルにしようと迅速に動いている。エッジAI市場は、破壊的革新の機が熟していると言える。
