DX-AllSuite Architecture Overview
本指南全面介绍 DXNN (DEEPX Neural Network) SDK 的架构、核心模块以及支持的环境。
Why DX-AllSuite?
DX-AllSuite 将从模型优化到目标硬件部署的复杂流水线集成到单一工作流 (Single Workflow) 中。
- 零代码部署(Zero-Code Deployment): 在桌面上验证的逻辑可以直接部署到边缘设备，无需修改任何代码。
- 资源优化(Resource Optimization): 减少环境构建和系统集成所需的时间，专注于构建高性能 AI 应用程序。
- 端到端解决方案(End-to-End Solution): 在一个包中提供模型编译、运行时执行和监控。
System Architecture & Core Modules
Figure. DXNN SDK Full Architecture Overview.
[1] AI Model Compile Environment (Host Platform)
用于将训练好的 AI 模型转换和优化为 DEEPX NPU 专用二进制文件(.dxnn) 的环境。支持 x86_64 PC 环境。
- DX-COM (编译器): 基于 ONNX 模型和用户配置（JSON）文件生成
.dxnn二进制文件的核心编译器。使用专有算法将模型转换为硬件优化的指令，在最小化精度损失的同时实现低延迟、高效率的推理。 - DX-TRON (可视化工具): 用于可视化和分析
.dxnn模型结构的 GUI 工具。通过颜色编码的图形直观地显示 NPU 和 CPU 之间的工作负载分布，帮助开发人员理解执行流程并优化性能。 - DX-ModelZoo: 针对 DEEPX NPU 优化的预训练模型仓库。通过提供 ONNX 模型、JSON 配置和预编译的 .dxnn 二进制文件，开发人员无需经过编译过程即可立即测试和部署模型。
[2] AI Model Runtime Environment (Target Platform)
在实际 NPU 硬件上执行优化的 .dxnn 模型并集成到应用程序中的环境。同时支持 x86_64 和 aarch64 环境。
- DX-RT (运行时): 与固件和驱动程序交互，在 DEEPX NPU 上执行
.dxnn模型的核心软件。管理模型加载、I/O 缓冲区、推理执行和实时监控，通过 C/C++ 和 Python API 提供灵活的控制。 - DX-APP: 基于 DX-RT 构建的示例应用程序。提供目标检测、人脸识别、图像分类等主要视觉任务的参考代码，开发人员可以使用这些模板快速构建自己的 AI 应用。
- DX-Stream: 基于 GStreamer 的自定义插件，将实时视频数据连接到 DEEPX NPU 推理。提供涵盖预处理、推理和后处理的模块化流水线，专为智能摄像头等高性能视觉 AI 应用优化。
- Driver & FW(驱动程序和固件): 支持通过 PCIe 接口进行高速数据通信，管理 NPU 的资源调度和电源。在确保硬件和软件之间稳定性的同时，最大限度地发挥硬件潜力，实现无缝的推理环境。
Development Workflow
从预训练模型到 NPU 加速的过程遵循以下 4 个逻辑步骤。
- Step 1. 模型准备: 以 ONNX 格式导出在 PyTorch 或 TensorFlow 中训练的模型。
- Step 2. 优化 (主机): 使用 DX-COM 进行量化和硬件优化，生成
.dxnn文件。 - Step 3. 部署 (目标设备): 将生成的
.dxnn文件传输到目标设备。 - Step 4. 执行 (目标设备): 通过 DX-RT 在 DEEPX NPU 上执行高速推理。
Technical Compatibility (Support Matrix)
DX-AllSuite 提供与最新操作系统和广泛硬件架构的经过验证的兼容性，成为从开发环境到边缘部署的稳定桥梁
Hardware & OS (Platform)
下表概述了编译（主机）阶段和执行（目标设备）阶段支持的环境。
| Category | DX-Compiler (Host) | DX-Runtime (Target) |
|---|---|---|
| Architecture | x86_64 | x86_64, aarch64 |
| OS | Ubuntu 24.04/22.04/20.04, Fedora, Redhat, CentOS | Ubuntu 24.04/22.04/20.04/18.04, Debian 13/12, Windows 11/10 |
| Language | Python 3.8, 3.9, 3.10, 3.11, 3.12 | Python 3.8 以上, C++14 以上 (C++17 for MSVC/Windows) |
Model & Software Ecosystem
支持的 AI 框架
DX-AllSuite 与行业标准框架无缝集成，最大限度地减少重构。
- 框架: Ultralytics (YOLO), TensorFlow, PyTorch, Keras
- 格式: ONNX (主要交换格式)
全球 AI 生态系统合作伙伴
我们保持强大的技术合作伙伴关系，确保 DXNN SDK 在各种行业领先平台内完美运行。
- 云 & 平台: AWS (IoT Greengrass), Baidu, DeGirum
- 视觉 & 算法: Ultralytics (YOLO Series), CVEDIA
- VMS & 安全: Network Optix (Nx), VCA (Applied Intelligence)
- 嵌入式 OS: Wind River (VxWorks)
DEEPX ModelZoo & Supported Tasks
DEEPX ModelZoo 是一个综合仓库，提供 270 多个预验证模型。用户可以立即查看各种硬件配置文件的性能和精度，无需经过手动编译过程。
| Task | Representative Models |
|---|---|
| Image Classification | ResNet, ResNeXt, MobileNet, EfficientNet (Lite/V2), ViT/DeiT/BEiT, MobileViT, FastViT, CasViT, RegNet, ShuffleNet, VGG |
| Object Detection | YOLO families (YOLOv3–YOLOv11, YOLOX, YOLO26), SSD, EfficientDet, NanoDet, DamoYOLO |
| Instance Segmentation | YOLACT, YOLOv5-Seg, YOLOv8-Seg, YOLO26-Seg |
| Semantic Segmentation | DeepLabV3/DeepLabV3+, SegFormer, BiSeNet, UNet |
| Oriented Object Detection (OBB) | YOLO26-OBB |
| Zero-shot Instance Segmentation | FastSAM |
| Face Detection | RetinaFace, SCRFD, ULFGED, YOLOv5-Face, YOLOv7-Face |
| Face Recognition | ArcFace (IResNet50/100, MobileFaceNet, R50) |
| Face Landmark | TDDFA v2 (MobileNet variants) |
| Face Attribute | FaceAttrResNetV1-18 |
| Pose Estimation (Human) | CenterPose, YOLO26-Pose, YOLOv8-Pose |
| Hand Landmark | MediaPipeHandsLite |
| Person Attribute | DeepMAR (ResNet18/50) |
| Depth Estimation | FastDepth, SCDepthV3 |
| Image Denoising | DnCNN variants |
| Low-light Enhancement | ZeroDCE |
| Super-resolution | ESPCN (x2/x3/x4) |
ModelZoo 流水线的主要特性
- 以 YAML 为中心的编排: 在单个 YAML 文件中管理预处理、后处理、评估和编译配置，实现高可重现性和易操作性。
- 集成工作流: 将 list、info、eval、compile、benchmark 等功能集成到单个 CLI 系统中，可以灵活组合各个阶段。
- 优化的多配置文件支持: 所有模型都针对 DEEPX NPU 架构进行了量化和优化，从 ONNX 评估到 NPU 执行都可以进行一致的验证。
- 可扩展的注册表: 支持插件形式的扩展，如预处理/后处理、数据集、评估器等，可快速引入自定义模型。
- 广泛的任务覆盖: 不仅限于基本的分类和检测，还广泛支持人脸分析、OBB（旋转边界框）、图像增强等各种可立即投入服务的计算机视觉任务。