はじめに
概要
DX-AS (DEEPX All Suite) は、DEEPX デバイスを使用して AI モデルの推論およびコンパイルを可能にするフレームワークとツールの統合環境です。ユーザーは個々のツールをインストールして統合環境を構築できますが、DX-AS は各ツールのバージョンを統一することで最適な互換性を維持します。
コンポーネント
DX-COM
DEEPX NPU コンパイラ (DX-COM) は、提供された ONNX および設定ファイルから NPU コマンドセットを生成します。生成されたコマンドセットと重みを含む出力ファイル (graph.dxnn) は、NPU の運用に使用されます。
DX-RT
DX-RT は、DEEPX デバイスを使用した AI 推論のための DEEPX ランタイム SDK です。DEEPX モデルズーからの事前構築済みモデルと、DXCOM (DEEPX コンパイラ SDK) でコンパイルされたモデルをサポートします。
DX-RT は C/C++ API を提供し、ユーザーはこれらの API を呼び出してアプリケーションを開発できます。また、Python ラッパーも提供しており、Python スクリプトを使用してアプリケーションを開発できます。
DX-RT は、モデル情報の確認、ダミーファイルを使用したベンチマーク実行、NPU ステータス監視のための CLI コマンドを含みます。
DX-RT は DX NPU ドライバーを使用して、PCIe インターフェース経由で入力データを NPU に送信し、モデル推論結果を受信します。
DX-ModelZoo
DEEPX は、DeepX NPU がサポートするさまざまなニューラルネットワークモデルを提供する DeepX Open Modelzoo を通じて、開発者が DeepX NPU を簡単に使用できる体験を提供することを目指しています。
すべての主要モデルは、事前学習済み ONNX モデル、設定 JSON ファイル、および DXNN (DeepX Neural Network) という名前の事前コンパイル済みバイナリとともに提供されます。
開発者は主要な ONNX を DXNN にコンパイルすることもでき、DeepX NPU で高速化された迅速なアプリケーション開発が可能です。DeepX NPU での量子化 INT8 モデルと GPU または CPU での完全精度 FP32 モデルを比較するための包括的なパフォーマンスベンチマークツールが利用できます。
DX-APP
DX-RT API の使用例として、ユーザーアプリケーション例はユーザーがランタイム環境を簡単にセットアップし、デモをすぐに確認できるようにします。DX-APP は DEEPX NPU を活用して、物体検出、顔検出、分類などのビジョンタスクにおける深層学習モデル推論の迅速なデモを可能にします。ユーザーは独自のアプリケーション開発ガイドとして DX-APP コードを参照できます。
DX-Stream
DX-Stream は、GStreamer パイプライン形式で DEEPX の NPU を使用した Vision AI アプリケーションの開発を簡素化するために設計された GStreamer カスタムプラグインです。DX-Stream は、DEEPX の NPU を活用したモジュラー型パイプラインベースのフレームワークを提供し、Vision AI アプリケーションの迅速かつ効率的な開発を可能にします。カスタマイズ可能な前処理、推論、後処理要素は、さまざまな AI シナリオに対する柔軟性を確保します。
DX-AS (DEEPX All Suite) 環境およびインストールガイド
AI モデルコンパイル環境 (コンパイラープラットフォーム)
目的
- ONNX モデルを当社独自の DXNN (DEEPX フォーマット) に変換 (コンパイル) するホストマシンにインストールする必要があります。
主要コンポーネント
- DX-COM: ONNX モデルを高度に最適化された NPU 対応バイナリに変換します。
柔軟性とサポート
- OS: Debian ベースの Linux と互換
- アーキテクチャ: x86_64 のみサポート
簡単なインストール
- 当社の単一スクリプトが全セットアッププロセスを自動化します。
- 完了時にすべての DX-Compiler コンポーネントがすぐに使用可能になります。
dx-compiler のインストールは、このリンクの手順に従ってください。
AI モデルランタイム環境 (デプロイメントプラットフォーム)
目的
- DEEPX M1 M.2 モジュールが取り付けられ、DEEPX AI モデル (.dxnn) が実行されるターゲットシステムにインストールする必要があります。
主要コンポーネント
- DX-RT & DX-FW & NPU ドライバー: NPU 制御のための基盤ソフトウェア
- DX-APP: プロジェクトを素早く開始するための C++ および Python サンプル
- DX-Stream: シームレスなマルチメディアパイプラインのための GStreamer 統合
柔軟性とサポート
- OS: Debian ベースの Linux と互換
- アーキテクチャ: x86_64 と arm64 の両方をサポート
簡単なインストール
- 当社のスクリプトがプロセス全体を自動化します。
- NPU ドライバー設定を完了するため、インストール後に一度の再起動が必要です。
dx-runtime のインストールは、このリンクの手順に従ってください。