DEEPX智能体驱动开发 - dx-agent-dev(测试版)
智能体驱动开发支持目前正在积极开发中。 技能定义和路由行为可能在版本间发生变化。
简介
DEEPX智能体驱动开发(dx-agent-dev)已以测试版发布。 用自然语言构建NPU应用:用自然语言描述应用或模型任务,AI编程智能体(Claude Code、Cursor、GitHub Copilot、OpenCode或Codex)将端到端驱动DEEPX知识库 — 头脑风暴 → 规划 → TDD → 验证,从ONNX/.pt编译到DX-M1 NPU设备部署。这是专为Ultralytics模型生态系统在DEEPX NPU上设计的智能体驱动开发,以下所有展示案例均以此方式制作 — 连同提示词、测量结果和完整构建记录一起保存。
您可以使用自然语言命令构建DEEPX AI应用程序。AI编程智能体理解DEEPX SDK生态系统 — GStreamer管道配置、.dxnn模型解析、InferenceEngine设置、DxPreprocess/DxInfer元素连接等 — 描述您的需求,智能体处理实现细节。
支持的工作流程:
- 使用
IFactory、SyncRunner、AsyncRunner的独立推理应用 - 利用DEEPX 6个类别13个自定义元素的GStreamer视频管道
- 跨dx_app、dx_stream、dx-runtime的跨项目构建
- 使用DX-COM(dx-compiler)将ONNX模型编译为DXNN格式
展示案例
以下所有展示案例都是由单个自然语言提示基于DEEPX NPU SDK完全自主构建的真实应用程序,连同提示词、测量结果、一键复现方法和完整构建会话记录一起保存。
NPU驱动AI应用(小游戏)
只需一行自然语言,在约20分钟、约$10内构建完全自主的DEEPX-NPU应用。 由单个提示端到端构建的街机HUD姿态检测小游戏。
| 展示案例 | 内容 | 构建时间 | 智能体轮次 | 输出Token | 约费用 |
|---|---|---|---|---|---|
| 深蹲计数小游戏 | 通过膝盖/髋关节角度计算深蹲次数的街机HUD(次数/分数/DOWN·UP·GOOD!)。 | ≈ 12分钟 | 132 | ≈ 109K | ≈ $7.3 |
| 拉伸教练小游戏 | 动画教练头像演示每个目标姿势,引导完成3种拉伸动作。 | ≈ 15分钟 | 130 | ≈ 142K | ≈ $8.1 |
Ultralytics生态系统集成
用自然语言,一条命令将Ultralytics YOLO部署到DEEPX NPU,或进行领域定制再训练。 format=deepx导出+四向评估(base/retrained × fp32-GPU / INT8-NPU);INT8精度≈fp32,领域模型在NPU上运行更快。
| 展示案例 | 内容 | 构建时间 | 智能体轮次 | 输出Token | 约费用 |
|---|---|---|---|---|---|
| Ultralytics YOLO → DeepX导出 | 通过单条yolo export ... format=deepx命令将Ultralytics YOLO .pt转换为可部署的DeepX NPU模型(.dxnn)后运行NPU推理+验证。 | ≈ 12分钟 | 108 | ≈ 84K | ≈ $2.4 |
| 非洲野生动物监测 | 在african-wildlife(水牛/大象/犀牛/斑马)上再训练yolo26n用于野生动物保护摄像头;base/retrained × fp32/INT8四向评估。 | ≈ 7分钟 | 78 | ≈ 85K | ≈ $3.2 |
| 建筑工地PPE安全 | 在construction-ppe(安全帽/背心/...)上再训练yolo26n用于工地安全摄像头;四向评估。 | ≈ 17分钟 | 102 | ≈ 93K | ≈ $4.0 |
| 脑肿瘤筛查 | 在brain-tumor(MRI/CT)上再训练yolo26n用于医疗边缘设备;四向评估。 | ≈ 9分钟 | 91 | ≈ 103K | ≈ $3.7 |
| 药品片剂检验 | 在medical-pills上再训练yolo26n用于药品计数站;四向评估。 | ≈ 8分钟 | 118 | ≈ 103K | ≈ $5.1 |
PaddlePaddle生态系统集成
DEEPX NPU上的PaddleOCR(PP-OCRv5)— 只需一个简洁的提示词即可实现实时视频和摄像头OCR。 在DX-M1 NPU上运行的百度PaddlePaddle OCR(文本检测 → 方向 → 识别)。
| 展示案例 | 内容 | 构建时间 | 智能体轮次 | 输出Token | 约费用 |
|---|---|---|---|---|---|
| 视频/摄像头OCR(PP-OCRv5) | DX-M1 NPU上的实时文本检测+识别 — 通过单一代码处理视频文件和实时摄像头,叠加检测框+识别字符串。 | ≈ 18分钟 | 175 | ≈ 184K | ≈ $12.0 |
RapidAI生态系统集成
只需一个简洁的自然语言提示词,在DEEPX NPU上构建PDF → Markdown文档转换应用。 RapidAI的RapidDoc(PP-StructureV3):布局、OCR、表格、公式 — 在DX-M1 NPU上运行PaddlePaddle训练模型。
| 展示案例 | 内容 | 构建时间 | 智能体轮次 | 输出Token | 约费用 |
|---|---|---|---|---|---|
| PDF → Markdown(文档转换应用) | 通过RapidDoc fork在DEEPX DX-M1 NPU上将PDF(数字版或扫描版)转换为结构化Markdown + JSON。支持--parse-method auto|txt|ocr。 | ≈ 12分钟 | 133 | ≈ 148.5K | ≈ $6.2 |
完整目录 + 各展示案例摘要(含构建GIF)→
dx-agent-dev-showcase/README.md。点击各行链接可打开对应展示案例的README — 原始提示词、四向评估/游戏玩法详情、会话记录。
工作原理 — 不仅仅是模型,更是整套框架
每个应用包含完整的智能体会话记录。这是直接确认结果不仅依赖于模型性能,更依赖于框架施加的命令指令、技能和验证门控的最佳方式。阅读记录时可以确认:
- 命令遵从 — 智能体遵守套件HARD GATES:会话哨兵(
[DX-AGENT-DEV: START]/DONE)、输出隔离于会话目录(不修改现有源码)、禁止占位符/存根代码。 - 技能与智能体利用 — 将必要序列作为实际工具调用执行 —
dx-skill-router → dx-agent-brainstorm → dx-swe-writing-plans → dx-agent-tdd → dx-agent-verify— 实际执行而非仅仅提及。 - 真实推理 — 审查最相似的现有示例、从知识库验证实际框架API、先写验证(RED)、生成+验证每个文件后才声明完成。
前提条件
| 要求 | 详情 |
|---|---|
| DEEPX开发环境 | 已安装DX-RT SDK并完成setup_env.sh配置 |
| AI编程智能体(以下之一) | Claude Code、GitHub Copilot(VS Code)、Cursor、OpenCode或Codex CLI |
| Python | 3.10+,已安装dx-all-suite软件包 |
架构概述
智能体驱动知识库由三个独立层次构成。每个层次都有自己的.deepx/目录,包含智能体在执行任务时读取的技能、命令和记忆文件。
dx_app — 独立推理
无需GStreamer运行推理的Python和C++应用程序。核心抽象:
- IFactory — 创建特定模型的前/后处理管道
- SyncRunner / AsyncRunner — 阻塞和非阻塞推理执行器
- DxInfer — 包装InferenceEngine的底层推理包装器
.deepx/知识库涵盖模型加载、.dxnn解析、批处理和结果可视化。
dx_stream — GStreamer管道
基于GStreamer的实时视频分析。智能体理解6个功能类别(源、推理、叠加、编码、流媒体、接收器)中的全部13个DEEPX元素,可通过单个自然语言提示组装多分支管道。
dx-runtime — 集成层
跨项目路由和统一验证。dx-runtime位于其他两个层次之上,将任务分发到正确的子项目构建器,并应用一致的编码标准、测试模式和模型管理规则。
dx-compiler — 模型编译
由DX-COM驱动的DXNN模型编译。智能体理解完整的编译管道 — ONNX模型验证、包含自动推断参数的config.json生成、校准数据准备、INT8量化、PPU配置 — 可通过单个自然语言提示编译模型。编译前,智能体通过关于无NMS模型检测、ONNX简化和PPU编译的必要头脑风暴问题确保正确配置。
可用智能体与技能
智能体和技能可在仓库的所有层级使用。顶层dx-all-suite提供对任务进行分类并分发到正确子模块的路由智能体。
按层级划分的智能体
| 层级 | 智能体 | 说明 |
|---|---|---|
| dx-all-suite | @dx-suite-builder | 顶层路由器 — 对任务分类并路由到适当的子模块 |
| dx-all-suite | @dx-suite-validator | 套件级验证 — 跨3个层级执行框架检查 |
| dx-runtime | @dx-runtime-builder | 跨项目构建器 — 路由到dx_app或dx_stream |
| dx-runtime | @dx-validator | 含反馈循环的统一验证编排器 |
| dx_app | @dx-app-builder | 独立推理构建器 — 路由到专业构建器 |
| dx_app | @dx-python-builder | Python推理应用构建器(4种变体:sync、async、cpp_postprocess、async_cpp_postprocess) |
| dx_app | @dx-cpp-builder | C++推理应用构建器 |
| dx_app | @dx-model-manager | 模型下载和注册表管理器 |
| dx_app | @dx-validator | dx_app验证和反馈循环 |
| dx_stream | @dx-stream-builder | GStreamer管道构建器 — 路由到专业构建器 |
| dx_stream | @dx-pipeline-builder | 管道配置(含代理的6个类别) |
| dx_stream | @dx-validator | dx_stream验证和反馈循环 |
| dx-compiler | @dx-compiler-builder | 模型编译路由器 — 路由到转换器或编译器 |
| dx-compiler | @dx-model-converter | PyTorch到ONNX模型转换器 |
| dx-compiler | @dx-dxnn-compiler | ONNX到DXNN编译器(DX-COM) |
技能(仅限OpenCode — /斜杠命令)
| 层级 | 技能 | 说明 |
|---|---|---|
| dx-runtime | /dx-agent-runtime-validate | 验证、收集反馈、应用修正、重新验证 |
| dx_app | /dx-agent-app-build-python | 构建Python推理应用 |
| dx_app | /dx-agent-app-build-cpp | 构建C++推理应用 |
| dx_app | /dx-agent-app-build-async | 构建高性能异步应用 |
| dx_app | /dx-agent-app-model-management | 模型下载和配置 |
| dx_app | /dx-agent-app-validate | 运行验证检查 |
| dx_stream | /dx-agent-stream-build-pipeline | 构建GStreamer管道应用 |
| dx_stream | /dx-agent-stream-build-mqtt-kafka | 构建MQTT/Kafka管道应用 |
| dx_stream | /dx-agent-stream-validate | 运行验证检查 |
| dx_stream | /dx-agent-stream-model-management | 模型下载和配置 |
| dx-compiler | /dx-agent-compiler-convert | 将PyTorch模型转换为ONNX |
| dx-compiler | /dx-agent-compiler-compile | 将ONNX模型编译为DXNN |
| dx-compiler | /dx-agent-compiler-validate | 验证编译的DXNN输出 |
| DX All Suite | /dx-swe-brainstorm | 流程:任务前协作设计会话 |
| DX All Suite | /dx-swe-tdd | 流程:测试驱动开发 — 增量验证 |
| DX All Suite | /dx-swe-verify | 流程:声明完成前的验证 — 主张前的证据 |
| dx-runtime | /dx-swe-brainstorm | 流程:代码生成前的协作设计会话 |
| dx-runtime | /dx-swe-tdd | 流程:测试驱动开发 — 文件创建后立即验证 |
| dx-runtime | /dx-swe-verify | 流程:声明完成前的验证 — 主张前的证据 |
| dx_app | /dx-swe-brainstorm | 流程:代码生成前的协作设计会话 |
| dx_app | /dx-swe-tdd | 流程:测试驱动开发 — 文件创建后立即验证 |
| dx_app | /dx-swe-verify | 流程:声明完成前的验证 — 主张前的证据 |
| dx_stream | /dx-swe-brainstorm | 流程:代码生成前的协作设计会话 |
| dx_stream | /dx-swe-tdd | 流程:测试驱动开发 — 文件创建后立即验证 |
| dx_stream | /dx-swe-verify | 流程:声明完成前的验证 — 主张前的证据 |
| dx-compiler | /dx-swe-brainstorm | 流程:编译前的协作设计会话 |
| dx-compiler | /dx-swe-tdd | 流程:测试驱动开发 — 每个步骤的增量验证 |
| dx-compiler | /dx-swe-verify | 流程:声明完成前的验证 — 主张前的证据 |
若不确定目标子模块,在顶层使用@dx-suite-builder — 它会对任务分类并自动路由到正确的构建器。
支持的AI工具
智能体驱动开发支持5种AI编程工具。每种工具通过其自身的配置机制自动加载.deepx/知识库。
| 工具 | 类型 | 自动加载机制 | 智能体调用 | 技能调用 |
|---|---|---|---|---|
| Claude Code | CLI | 项目根目录的CLAUDE.md | 自由形式对话;Context Routing Table自动分发 | — |
| GitHub Copilot | VS Code | .github/copilot-instructions.md | Copilot Chat中@agent-name "prompt" | — |
| Cursor | IDE | .cursor/rules/*.mdc | 自由形式对话;通过alwaysApply或globs加载规则 | — |
| OpenCode | CLI | AGENTS.md + opencode.json | @agent-name "prompt" | /skill-name斜杠命令 |
| Codex CLI | CLI | AGENTS.md + .codex/skills/dx-codex-identity/SKILL.md | 自由形式对话(~/bin/codex exec ...) | cat .deepx/skills/<name>/SKILL.md(直接读取) |
自动加载内容
| 工具 | 全局上下文 | 文件级上下文 | 智能体 | 技能 |
|---|---|---|---|---|
| Claude Code | CLAUDE.md | Context Routing Table(手动) | .claude/agents/*.md(生成) | .deepx/skills/(直接读取) |
| Copilot | .github/copilot-instructions.md | .github/instructions/*.instructions.md(applyTo: glob) | .github/agents/*.agent.md | .github/skills/(内联副本) |
| Cursor | .cursor/rules/dx-*.mdc(alwaysApply: true) | .cursor/rules/*.mdc(globs: [...]) | .cursor/rules/智能体.mdc文件 | .cursor/rules/技能.mdc文件 |
| OpenCode | AGENTS.md + opencode.json命令 | — | .opencode/agents/*.md | .deepx/skills/*/SKILL.md |
| Codex CLI | AGENTS.md | — | .deepx/agents/*.md(直接cat) | .codex/skills/dx-codex-identity/(自动)+ .deepx/skills/(手动cat) |
初始设置
无需额外配置。在您首选的工具中打开项目目录,配置文件将自动加载:
# Claude Code
cd dx-all-suite
claude
# OpenCode
cd dx-all-suite
opencode
# Codex CLI
cd dx-all-suite
~/bin/codex
# GitHub Copilot — 在VS Code中打开文件夹
code dx-all-suite
# Cursor CLI
cd dx-all-suite
cursor-agent
平台文件加载说明
每个AI编程智能体在套件层级自动加载不同的配置文件。标记自动的文件在所有对话中加载,@mention文件通过智能体或技能命令手动调用。
Copilot Chat/CLI、Claude Code、Codex CLI目前只能看到当前git根目录的文件。在dx-all-suite/中打开时,不会自动加载dx-compiler/、dx-runtime/等子项目文件(独立的git子模块)。OpenCode通过opencode.json中的显式路径引用跨越此边界。
自动加载文件
| 文件 | 自动加载工具 | 加载方式 |
|---|---|---|
.github/copilot-instructions.md | Copilot Chat/CLI | 自动 |
CLAUDE.md | Claude Code | 自动 |
AGENTS.md + opencode.json | OpenCode | 自动 |
AGENTS.md + .codex/skills/dx-codex-identity/SKILL.md | Codex CLI | 自动 |
.cursor/rules/dx-all-suite.mdc | Cursor | 自动 |
智能体文件(手动@mention)
| 智能体 | Copilot(@mention) | OpenCode(@mention) |
|---|---|---|
dx-suite-builder | .github/agents/dx-suite-builder.agent.md | .opencode/agents/dx-suite-builder.md |
dx-suite-validator | .github/agents/dx-suite-validator.agent.md | .opencode/agents/dx-suite-validator.md |
Claude Code在.claude/agents/中有生成的智能体文件(如dx-suite-builder.md)。
Cursor在.cursor/rules/中有智能体.mdc文件(如dx-suite-builder.mdc)。
Claude Code使用CLAUDE.md的Context Routing Table分发任务。
技能文件(仅限OpenCode — /斜杠命令)
| 技能 | 文件 |
|---|---|
/dx-swe-brainstorm | .deepx/skills/dx-swe-brainstorm/SKILL.md |
/dx-swe-verify | .deepx/skills/dx-swe-verify/SKILL.md |
/dx-swe-tdd | .deepx/skills/dx-swe-tdd/SKILL.md |
/dx-swe-parallel-agents | .deepx/skills/dx-swe-parallel-agents/SKILL.md |
/dx-swe-executing-plans | .deepx/skills/dx-swe-executing-plans/SKILL.md |
/dx-swe-receiving-review | .deepx/skills/dx-swe-receiving-review/SKILL.md |
/dx-swe-requesting-review | .deepx/skills/dx-swe-requesting-review/SKILL.md |
/dx-skill-router | .deepx/skills/dx-skill-router/SKILL.md |
/dx-swe-subagent-dev | .deepx/skills/dx-swe-subagent-dev/SKILL.md |
/dx-swe-debugging | .deepx/skills/dx-swe-debugging/SKILL.md |
/dx-swe-writing-plans | .deepx/skills/dx-swe-writing-plans/SKILL.md |
共享知识库(.deepx/)
.deepx/目录是所有平台特定文件的规范来源(单一真实来源)。以平台无关格式包含智能体、技能、模板和片段。dx-agent-gen生成器将其转换为Copilot(.github/)、Claude Code(.claude/)、OpenCode(.opencode/)、Cursor(.cursor/rules/)的平台特定文件。
| 目录 | 内容 |
|---|---|
agents/ | dx-suite-builder、dx-suite-validator |
skills/ | 13个技能(领域+共享流程技能) |
templates/ | {en,ko}/*.tmpl — 命令文件模板 |
templates/fragments/ | {en,ko}/*.md — 跨仓库复用的共享章节 |
memory/ | 会话间持久化的知识 |
knowledge/ | 结构化参考数据 |
instructions/ | 内部智能体指令 |
toolsets/ | 工具参考文档 |
命令文件(CLAUDE.md、AGENTS.md、copilot-instructions.md,EN+ZH)也从模板和片段生成 — 请勿直接编辑。
平台文件生成
所有平台特定文件均由dx-agent-dev-gen包从.deepx/生成。请勿直接编辑生成的文件。
pip install -e .deepx/tools # 安装生成器
dx-agent-gen generate # 生成平台文件
dx-agent-gen check # 确认无漂移
Pre-commit钩子强制生成文件的同步:
.deepx/tools/scripts/install-hooks.sh # 一次性设置
工具快速入门
从dx-all-suite(顶层路由)
在顶层dx-all-suite目录工作,让智能体自动路由到正确的子模块:
提示词:
"将yolo26n.onnx编译为DXNN并构建使用它的人员检测Python应用"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开dx-all-suite/并输入提示词。CLAUDE.md将编译路由到dx-compiler,将应用生成路由到dx_app。 |
| GitHub Copilot | 打开Copilot Chat:@dx-suite-builder加提示词。智能体对任务分类并路由到正确的子模块。 |
| Cursor | 打开dx-all-suite/并输入提示词。alwaysApply规则路由到适当的子模块。 |
| OpenCode | 打开dx-all-suite/:@dx-suite-builder加提示词。智能体自动路由。 |
| Codex CLI | 打开dx-all-suite/并输入提示词(或~/bin/codex exec "<prompt>")。AGENTS.md自动读取并在子模块间路由。 |
从子模块(直接访问)
直接在子模块工作时,使用符合该子模块范围的提示词:
| 子模块 | 示例提示词 |
|---|---|
| dx-compiler | "将yolo26x.pt转换为ONNX并为DX-M1编译为DXNN" |
| dx_app | "使用Python构建yolo26n人员检测应用" |
| dx_stream | "构建带RTSP摄像头和跟踪的检测管道" |
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开子模块目录并直接输入提示词。CLAUDE.md自动读取。Context Routing Table分发到正确的.deepx/技能文件。 |
| GitHub Copilot | 打开Copilot Chat:@dx-app-builder、@dx-stream-builder或@dx-compiler-builder加提示词。Copilot在所有聊天中读取.github/copilot-instructions.md。 |
| Cursor | 打开子模块文件夹并直接输入提示词。alwaysApply: true的规则在所有对话中加载。带globs:模式的规则在编辑匹配文件时激活。 |
| OpenCode | 打开子模块目录,使用适当的智能体(@dx-app-builder、@dx-stream-builder或@dx-compiler-builder)或对应的技能斜杠命令。 |
| Codex CLI | 打开子模块目录并输入提示词(或~/bin/codex exec "<prompt>")。AGENTS.md自动读取,如需要可直接cat .deepx/skills/<name>/SKILL.md。 |
端到端场景
跨多个子模块的跨项目工作流程场景。子项目专属场景请参阅下面链接的各个指南。
场景1:自定义模型转换 + SDK移植 + 验证
编译自定义模型、将推理代码移植到DEEPX SDK并验证结果的完整管道。
提示词:
"./models/中有yolo26x-custom.onnx,./inference.py中有使用onnxruntime的推理代码。请将其转换为DXNN并将我的代码移植到DEEPX SDK。"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开dx-all-suite/并输入提示词。套件构建器编排:(a) dx-compiler将ONNX模型编译为DXNN,(b) dx_app移植推理代码,(c) 验证确认移植应用正常工作。 |
| GitHub Copilot | @dx-suite-builder加提示词。智能体将编译路由到dx-compiler,将移植路由到dx_app。 |
| Cursor | 打开dx-all-suite/并输入提示词。路由器分发到正确的子模块。 |
| OpenCode | @dx-suite-builder加提示词。 |
| Codex CLI | 打开dx-all-suite/并输入提示词。AGENTS.md编排跨子模块工作。 |
分3步进行:
- dx-compiler:使用自动推断配置编译
yolo26x-custom.onnx→yolo26x-custom.dxnn - dx_app:生成使用编译模型的
InferenceEnginePython推理应用 - 验证:运行移植应用后与原始onnxruntime代码的输出进行比较
场景2:模型编译 + 示例应用生成
编译模型并生成使用编译输出的独立推理应用。跨dx-compiler和dx_app的跨项目场景。
提示词:
"将yolo26n.onnx编译为DXNN并生成使用编译模型的Python检测应用"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开dx-all-suite/并输入提示词。套件构建器编排:(a) dx-compiler将ONNX编译为DXNN,(b) dx_app生成引用编译模型的Python应用。 |
| GitHub Copilot | @dx-suite-builder加提示词。编译路由到dx-compiler,应用生成路由到dx_app。 |
| Cursor | 打开dx-all-suite/并输入提示词。路由器分发到两个子模块。 |
| OpenCode | @dx-suite-builder加提示词。 |
| Codex CLI | 打开dx-all-suite/并输入提示词。AGENTS.md编排跨子模块工作。 |
分2步进行:
- dx-compiler:使用自动推断配置编译
yolo26n.onnx→yolo26n.dxnn - dx_app:生成使用编译
.dxnn模型的Python检测应用
场景3:模型编译 + 流媒体管道生成
编译模型并生成使用编译输出的GStreamer流媒体管道。跨dx-compiler和dx_stream的跨项目场景。
提示词:
"将yolo26n.onnx编译为DXNN并构建带RTSP输出的检测流媒体管道"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开dx-all-suite/并输入提示词。套件构建器编排:(a) dx-compiler将ONNX编译为DXNN,(b) dx_stream生成带RTSP输出的GStreamer管道。 |
| GitHub Copilot | @dx-suite-builder加提示词。编译路由到dx-compiler,管道路由到dx_stream。 |
| Cursor | 打开dx-all-suite/并输入提示词。路由器分发到两个子模块。 |
| OpenCode | @dx-suite-builder加提示词。 |
| Codex CLI | 打开dx-all-suite/并输入提示词。AGENTS.md编排跨子模块工作。 |
分2步进行:
- dx-compiler:使用自动推断配置编译
yolo26n.onnx→yolo26n.dxnn - dx_stream:生成使用DxInfer编译模型并包含RTSP流媒体输出的检测管道
场景4:PPU模型编译 + 检测应用
使用PPU(前/后处理单元)支持编译模型以应用硬件加速后处理,并生成使用PPU模型的应用。
提示词:
"使用PPU支持编译yolo26n.onnx并生成PPU模型的检测应用"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开dx-all-suite/并输入提示词。套件构建器编排:(a) dx-compiler使用PPU配置编译(基于YOLO版本自动检测),(b) dx_app生成含简化后处理的PPU专用应用。 |
| GitHub Copilot | @dx-suite-builder加提示词。PPU编译路由到dx-compiler,PPU应用生成路由到dx_app。 |
| Cursor | 打开dx-all-suite/并输入提示词。路由器分发到两个子模块。 |
| OpenCode | @dx-suite-builder加提示词。 |
| Codex CLI | 打开dx-all-suite/并输入提示词。AGENTS.md编排跨子模块工作。 |
分2步进行:
- dx-compiler:使用PPU配置编译 — 智能体自动检测PPU类型(基于锚点的YOLO为Type 0,无锚点YOLO为Type 1)
- dx_app:在
src/python_example/ppu/下生成含硬件解码边界框的简化后处理的PPU专用检测应用
跨项目路由
dx-all-suite元指南提供到所有子项目场景的路由。若任务与子项目指南中的场景匹配,套件构建器将自动路由。
- dx-runtime场景(跨项目构建、统一验证):参阅dx-runtime指南
- dx_app场景(Python/C++推理应用):参阅dx_app指南
- dx_stream场景(GStreamer管道):参阅dx_stream指南
- dx-compiler场景(模型编译):参阅dx-compiler指南
无需切换到子项目目录。在dx-all-suite层级使用@dx-suite-builder,它将自动路由到任何子项目。
子项目指南
每个子项目都提供涵盖特定技能、元素目录和实际示例的详细智能体驱动开发指南:
内部参考文档
面向贡献者的.deepx/规范来源、生成器管道和框架开发模型的深度内容(非面向最终用户):
| 文档 | 范围 |
|---|---|
.deepx/docs/dx-agent-dev-overview.md | 5个仓库中所有.deepx/目录的详细说明 |
.deepx/README.md | .deepx/知识库顶层主索引 |
.deepx/docs/skill-architecture.md | 三层技能模型(SWE / 智能体驱动 / 框架) |
.deepx/tools/README.md | dx-agent-gen生成器包指南 |
.deepx/tools/scripts/README.md | 运维脚本(run_all.sh、钩子、E2E循环) |
输出隔离
默认情况下,智能体生成的所有代码保存在目标子项目内的dx-agent-dev/<session_id>/中。防止意外修改现有生产代码。
| 输出类型 | 路径 | 条件 |
|---|---|---|
| 默认(隔离) | dx-agent-dev/<session_id>/ | 除非用户另有指定,始终如此 |
| 生产 | src/ | 仅在用户明确要求时 |
会话ID格式:YYYYMMDD-HHMMSS_<agent>_<model>_<task>,其中<agent>为claude、codex、copilot、cursor或opencode。
每个会话目录包含:
README.md— 会话元数据、生成文件列表、运行说明session.json— 机器可读的会话配置
dx-agent-dev/目录在dx_app和dx_stream中均被git忽略。
dx-compiler会话目录
对于dx-compiler,会话目录还额外包含:
calibration_dataset— 指向dx_com/calibration_dataset/的符号链接config.json— 包含相对校准路径的自动生成DX-COM配置compiler.log— 编译日志(使用--gen_log时)
智能体自动设置校准数据(检查dx_com/calibration_dataset/,必要时运行设置脚本,并创建相对路径的符号链接)。
套件级跨项目输出
从dx-all-suite级别运行跨项目任务(如编译+部署)时,产物在各目标子项目的dx-agent-dev/目录中生成。此外,在dx-all-suite/dx-agent-dev/中创建符号链接以便统一访问:
dx-all-suite/dx-agent-dev/
├── dx-compiler_20260409-070940_yolo26n_pt_to_dxnn -> ../dx-compiler/dx-agent-dev/20260409-...
└── dx_app_20260409-071500_yolo26n_detection_app -> ../dx-runtime/dx_app/dx-agent-dev/20260409-...
符号链接命名规则:\{subproject\}_\{session_id\}。
会话标记
智能体在每个任务的开始和结束输出固定标记,用于自动化测试:
| 标记 | 条件 |
|---|---|
[DX-AGENT-DEV: START] | 必须 — 在任何其他文本、工具调用或推理之前,作为智能体第一个响应的绝对第一行。即使用户说"直接进行"也不可省略 — 没有此标记自动化测试将失败。 |
[DX-AGENT-DEV: DONE (output-dir: <relative_path>)] | 所有工作完成后的最后一行。<relative_path>是相对于项目根目录的会话输出目录。如果未生成文件,省略(output-dir: ...)部分。 |
重要:DONE表示所有交付物已生成 — 实现代码、脚本、配置和验证结果。如果智能体仅生成了规划产物(规范、计划、设计文档)而未实现实际代码,则不得输出DONE。