소개
개요
**DX-AS (DEEPX All Suite)**는 DEEPX 디바이스를 사용하여 AI 모델의 추론 및 컴파일을 가능하게 하는 프레임워크와 툴의 통합 환경입니다. 사용자는 개별 툴을 설치하여 통합 환경을 구축할 수 있지만, DX-AS는 개별 툴의 버전을 맞춤으로써 최적의 호환성을 유지합니다.
구성 요소
DX-COM
DEEPX NPU 컴파일러(DX-COM)는 제공된 ONNX 및 설정 파일로부터 NPU 커맨드 셋을 생성합니다. 생성된 커맨드 셋과 가중치가 포함된 출력 파일(graph.dxnn)은 NPU 운용에 활용됩니다.
DX-RT
DX-RT는 DEEPX 디바이스를 사용한 AI 추론을 위한 DEEPX 런타임 SDK입니다. DEEPX 모델 주에서 사전 빌드된 모델과 DXCOM(DEEPX 컴파일러 SDK)으로 컴파일된 모델을 지원합니다.
DX-RT는 C/C++ API를 제공하여 사용자가 이 API를 호출해 애플리케이션을 개발할 수 있습니다. 또한 Python 래퍼를 제공하여 Python 스크립트로 애플리케이션을 개발할 수 있습니다.
DX-RT는 모델 정보 확인, 더미 파일을 이용한 벤치마크 실행, NPU 상태 모니터링을 위한 CLI(Command Line Interface) 명령어를 포함합니다.
DX-RT는 DX NPU 드라이버를 사용하여 PCIe 인터페이스를 통해 입력 데이터를 NPU로 전송하고 모델 추론 결과를 수신합니다.
DX-ModelZoo
DEEPX는 다양한 신경망 모델을 제공하는 DeepX Open Modelzoo를 통해 개발자들이 DeepX NPU를 손쉽게 사용할 수 있는 경험을 제공하고자 합니다.
모든 주요 모델은 사전 훈련된 ONNX 모델, 설정 json 파일, DXNN(DeepX Neural Network)이라는 이름의 사전 컴파일된 바이너리와 함께 제공됩니다.
개발자는 주요 ONNX를 DXNN으로 컴파일할 수 있으며, 이를 통해 DeepX NPU로 가속화된 신속한 애플리케이션 개발이 가능합니다. DeepX NPU에서의 양자화된 INT8 모델과 GPU 또는 CPU에서의 전정밀도 FP32 모델을 비교하기 위한 포괄적인 성능 벤치마크 툴이 제공됩니다.
DX-APP
DX-RT API 사용 예제로서, 사용자 애플리케이션 예제는 사용자가 런타임 환경을 쉽게 설정하고 데모를 빠르게 확인할 수 있도록 합니다. DX-APP은 DEEPX NPU를 활용하여 객체 감지, 얼굴 감지, 분류와 같은 비전 태스크에 대한 딥러닝 모델 추론의 신속한 데모를 가능하게 합니다. 사용자는 자체 애플리케이션 개발 가이드로 DX-APP 코드를 참조할 수 있습니다.
DX-Stream
DX-Stream은 GStreamer 파이프라인 형식으로 DEEPX의 NPU를 활용한 Vision AI 애플리케이션 개발을 간소화하기 위해 설계된 GStreamer 커스텀 플러그인입니다. DX-Stream은 DEEPX의 NPU로 구동되는 모듈식 파이프라인 기반 프레임워크를 제공하여 Vision AI 애플리케이션의 신속하고 효율적인 개발을 가능하게 합니다. 맞춤형 전처리, 추론, 후처리 요소는 다양한 AI 시나리오에 대한 유연성을 보장합니다.
DX-AS (DEEPX All Suite) 환경 및 설치 가이드
AI 모델 컴파일 환경 (컴파일러 플랫폼)
목적
- ONNX 모델을 당사 독자적인 DXNN (DEEPX 형식)으로 변환(컴파일)할 호스트 머신에 설치해야 합니다.
핵심 구성 요소
- DX-COM: ONNX 모델을 고도로 최적화된 NPU 실행 가능 바이너리로 변환합니다.
유연성 및 지원
- OS: Debian 기반 Linux와 호환
- 아키텍처: x86_64만 지원
간편한 설치
- 당사의 단일 스크립트가 전체 설정 과정을 자동화합니다.
- 완료 시 모든 DX-Compiler 구성 요소를 바로 사용할 수 있습니다.
dx-compiler 설치는 이 링크의 지침을 따르세요.
AI 모델 런타임 환경 (배포 플랫폼)
목적
- DEEPX M1 M.2 모듈이 장착되고 DEEPX AI 모델(.dxnn)이 실행될 타깃 시스템에 설치해야 합니다.
핵심 구성 요소
- DX-RT & DX-FW & NPU 드라이버: NPU 제어를 위한 기반 소프트웨어
- DX-APP: 프로젝트를 빠르게 시작하기 위한 C++ 및 Python 예제
- DX-Stream: 원활한 멀티미디어 파이프라인을 위한 GStreamer 통합
유연성 및 지원
- OS: Debian 기반 Linux와 호환
- 아키텍처: x86_64 및 arm64 모두 지원
간편한 설치
- 당사의 스크립트가 전체 과정을 자동화합니다.
- NPU 드라이버 설정 완료를 위해 설치 후 한 번의 재부팅이 필요합니다.
dx-runtime 설치는 이 링크의 지침을 따르세요.