소개
개요
**DX-AS (DEEPX All Suite)**는 DEEPX 디바이스를 사용하여 AI 모델의 추론 및 컴파일을 수행할 수 있는 프레임워크와 도구의 통합 환경입니다. 개별 도구를 설치하여 통합 환경을 직접 구성할 수도 있지만, DX-AS는 개별 도구의 버전을 일치시켜 최적의 호환성을 유지합니다.
구성 요소
DX-COM
DEEPX NPU 컴파일러(DX-COM)는 제공된 ONNX 파일과 설정 파일로부터 NPU 커맨드 셋을 생성합니다. 생성된 커맨드 셋과 가중치를 포함하는 출력 파일(graph.dxnn)은 NPU 구동에 사용됩니다.
DX-RT
DX-RT는 DEEPX 디바이스를 활용한 AI 추론을 위한 DEEPX 런타임 SDK입니다. DEEPX 모델 주(Model Zoo)의 사전 빌드 모델과 DXCOM(DEEPX 컴파일러 SDK)으로 컴파일된 모델을 모두 지원합니다.
DX-RT는 C/C++ API를 제공하므로, 사용자는 이 API를 호출하여 애플리케이션을 개발할 수 있습니다. 또한 Python 래퍼도 제공하여 Python 스크립트로 애플리케이션을 개발할 수 있습니다.
DX-RT는 모델 정보 확인, 더미 파일을 이용한 벤치마크 실행, NPU 상태 모니터링을 위한 CLI(커맨드라인 인터페이스) 명령어를 포함합니다.
DX-RT는 DX NPU 드라이버를 사용하여 PCIe 인터페이스를 통해 입력 데이터를 NPU로 전송하고 모델 추론 결과를 수신합니다.
DX-ModelZoo
DEEPX는 다양한 DEEPX NPU 지원 신경망 모델을 제공하는 DEEPX Open Modelzoo를 통해 개발자가 DEEPX NPU를 손쉽게 활용할 수 있도록 지원합니다.
모든 수록 모델은 사전 학습된 ONNX 모델, 설정 JSON 파일, DXNN(DEEPX Neural Network)이라는 사전 컴파일된 바이너리와 함께 제공됩니다.
개발자는 수록된 ONNX를 DXNN으로 직접 컴파일할 수 있어, DEEPX NPU로 가속된 신속한 애플리케이션 개발이 가능합니다. DEEPX NPU에서 양자화된 INT8 모델과 GPU/CPU의 전정밀도 FP32 모델을 비교하는 포괄적인 성능 벤치마크 도구도 제공됩니다.
DX-APP
DX-RT API 사용 예시인 사용자 애플리케이션 예제를 통해 런타임 환경을 쉽게 구성하고 빠르게 데모를 확인할 수 있습니다. DX-APP은 DEEPX NPU를 활용한 객체 감지, 얼굴 감지, 분류 등 비전 태스크에서 딥러닝 모델 추론을 신속하게 시연할 수 있게 합니다. 사용자는 DX-APP 코드를 자체 애플리케이션 개발의 참고 자료로 활용할 수 있습니다.
DX-Stream
DX-Stream은 GStreamer 파이프라인 형식으로 DEEPX NPU를 활용한 Vision AI 애플리케이션 개발을 간소화하는 GStreamer 커스텀 플러그인입니다. DX-Stream은 DEEPX NPU 기반의 모듈식 파이프라인 프레임워크를 제공하여 Vision AI 애플리케이션을 신속하고 효율적으로 개발할 수 있습니다. 커스터마이즈 가능한 전처리, 추론, 후처리 요소로 다양한 AI 시나리오에 유연하게 대응합니다.
DX-AS (DEEPX All Suite) 환경 및 설치 가이드
AI 모델 컴파일 환경 (컴파일러 플랫폼)
목적
- ONNX 모델을 DEEPX 전용 형식인 DXNN으로 변환(컴파일)하는 호스트 머신에 설치해야 합니다.
핵심 구성 요소
- DX-COM: ONNX 모델을 NPU에 최적화된 바이너리로 변환합니다.
유연성 및 지원
- OS: Debian 기반 Linux 호환
- 아키텍처: x86_64만 지원
간편한 설치
- 단일 스크립트로 전체 설치 과정을 자동화합니다.
- 완료 후 모든 DX-Compiler 구성 요소를 바로 사용할 수 있습니다.
dx-compiler 설치 방법은 이 링크를 참고하세요.
AI 모델 런타임 환경 (배포 플랫폼)
목적
- DEEPX M1 M.2 모듈이 장착된 타겟 시스템에서 DEEPX AI 모델(.dxnn)을 실행하기 위해 설치해야 합니다.
핵심 구성 요소
- DX-RT & DX-FW & NPU 드라이버: NPU 제어를 위한 기반 소프트웨어
- DX-APP: 프로젝트를 빠르게 시작할 수 있는 C++ 및 Python 예제
- DX-Stream: 원활한 멀티미디어 파이프라인을 위한 GStreamer 통합
유연성 및 지원
- OS: Debian 기반 Linux 호환
- 아키텍처: x86_64 및 arm64 모두 지원
간편한 설치
- 스크립트로 전체 과정을 자동화합니다.
- NPU 드라이버 설치를 완료하기 위해 설치 후 1회 재부팅이 필요합니다.
dx-runtime 설치 방법은 이 링크를 참고하세요.