DEEPX 智能体驱动开发 - dx-agent-dev(测试版)
智能体驱动开发支持正在积极开发中。
技能定义和路由行为可能在版本之间发生变化。
简介
dx-agent-dev(测试版)已到来。 用自然语言描述应用程序或模型任务,AI 编码智能体 — Claude Code、Cursor、GitHub Copilot、OpenCode 或 Codex — 从头到尾驱动 DEEPX 知识库:头脑风暴 → 规划 → TDD → 验证,从 ONNX/.pt 编译到设备端 DX-M1 NPU 部署。这是专为 Ultralytics 模型生态系统中的 DEEPX NPU 构建的智能体驱动开发,以下每个展示案例都是用这种方式制作的 — 附带提示词、测量结果和完整的构建记录一起提交。
使用自然语言指令构建 DEEPX AI 应用程序。AI 编码智能体了解 DEEPX SDK 生态系统 — GStreamer 管道构建、.dxnn 模型解析、InferenceEngine 配置以及 DxPreprocess/DxInfer 元素接线 — 因此您只需描述想要什么,让智能体处理实现细节。
支持的工作流包括:
- 使用
IFactory、SyncRunner和AsyncRunner的独立推理应用 - 使用 DEEPX 在 6 个类别中的 13 个自定义元素的 GStreamer 视频管道
- 跨越 dx_app、dx_stream 和 dx-runtime 的跨项目构建
- 使用 DX-COM(dx-compiler)从 ONNX 格式编译为 DXNN 格式的模型
展示案例
以下所有展示案例都是从单一自然语言提示词在 DEEPX NPU SDK 上完全自主构建的真实应用程序 — 连同提示词、测量结果、一键复现方法和完整录制的构建会话记录一起提交到套件中。
NPU 驱动的 AI 应用(迷你游戏)
用自然语言,约 20 分钟、约 10 美元构建完全自主的 DEEPX-NPU 应用。 带有街机 HUD 的姿势驱动迷你游戏,从单个提示词端到端构建。
| 展示案例 | 内容 | 构建时间 | 智能体轮次 | 输出令牌 | 约费用 |
|---|---|---|---|---|---|
| 深蹲计数迷你游戏 | 通过膝盖/臀部角度计算深蹲次数,显示街机 HUD(次数/分数/DOWN·UP·GOOD!)。 | ≈ 12分钟 | 132 | ≈ 109K | ≈ $7.3 |
| 拉伸教练迷你游戏 | 通过展示每个目标姿势的动画教练虚拟角色,引导 3 种拉伸动作。 | ≈ 15分钟 | 130 | ≈ 142K | ≈ $8.1 |
Ultralytics 生态系统集成
用自然语言将任何 Ultralytics YOLO 带到 DEEPX NPU — 或为您的领域重新训练 — 全部通过自然语言完成。 format=deepx 导出 + 4 向评估(基础/重训练 × fp32-GPU/INT8-NPU);INT8 ≈ fp32,领域模型在 NPU 上运行更快。
| 展示案例 | 内容 | 构建时间 | 智能体轮次 | 输出令牌 | 约费用 |
|---|---|---|---|---|---|
| Ultralytics YOLO → DeepX 导出 | 用单个 yolo export ... format=deepx 命令将 Ultralytics YOLO .pt 转为可部署的 DeepX NPU 模型(.dxnn),然后运行 NPU 推理 + 验证。 | ≈ 12分钟 | 108 | ≈ 84K | ≈ $2.4 |
| 非洲野生动物监测 | 为野生动物保护摄像机在 african-wildlife(水牛/大象/犀牛/斑马)上重训练 yolo26n;基础/重训练 × fp32/INT8 四向评估。 | ≈ 7分钟 | 78 | ≈ 85K | ≈ $3.2 |
| 建筑工地 PPE 安全 | 为工地安全摄像机在 construction-ppe(头盔/背心/...)上重训练 yolo26n;基础/重训练 × fp32/INT8 四向评估。 | ≈ 17分钟 | 102 | ≈ 93K | ≈ $4.0 |
| 脑肿瘤筛查 | 为医疗边缘设备在 brain-tumor(MRI/CT)上重训练 yolo26n;基础/重训练 × fp32/INT8 四向评估。 | ≈ 9分钟 | 91 | ≈ 103K | ≈ $3.7 |
| 药片检测 | 为制药计数站在 medical-pills 上重训练 yolo26n;基础/重训练 × fp32/INT8 四向评估。 | ≈ 8分钟 | 118 | ≈ 103K | ≈ $5.1 |
PaddlePaddle 生态系统集成
用简洁的单个提示词在 DEEPX NPU 上运行 PaddleOCR(PP-OCRv5)— 实时视频和摄像头 OCR。 百度 PaddlePaddle OCR(文本检测 → 方向 → 识别)在 DX-M1 NPU 上运行。
| 展示案例 | 内容 | 构建时间 | 智能体轮次 | 输出令牌 | 约费用 |
|---|---|---|---|---|---|
| 视频/摄像头 OCR(PP-OCRv5) | 在 DX-M1 NPU 上实时文本检测 + 识别 — 视频文件和实时摄像头共用一套代码路径,叠加检测框和识别的字符串。 | ≈ 18分钟 | 175 | ≈ 184K | ≈ $12.0 |
RapidAI 生态系统集成
用简洁的单个自然语言提示词在 DEEPX NPU 上构建 PDF → Markdown 文档转换应用。 RapidAI 的 RapidDoc(PP-StructureV3):布局、OCR、表格、公式 — 在 DX-M1 NPU 上运行 PaddlePaddle 训练的模型。从分支管道生成的独立、自包含应用。
| 展示案例 | 内容 | 构建时间 | 智能体轮次 | 输出令牌 | 约费用 |
|---|---|---|---|---|---|
| PDF → Markdown(文档转换应用) | 通过 RapidDoc 分支在 DEEPX DX-M1 NPU 上将 PDF(数字或扫描件)转换为结构化 Markdown + JSON — 布局分析、OCR、表格和公式。支持 `--parse-method auto | txt | ocr`。 | ≈ 12分钟 | 133 |
完整目录 + 每个展示案例的摘要(附构建 GIF)→
dx-agent-dev-showcase/README.md。点击每行的链接可打开该展示案例的 README — 完整的提示词、四向评估/游戏细节,以及会话记录。
工作原理 — 是框架,而不(仅仅)是模型
每个应用都附带完整的智能体会话记录,这是证明结果更多来自框架施加的指令、技能和验证关卡而不只是原始模型的最直接方式。阅读记录可以观察到:
- 指令遵循 — 智能体遵守套件的硬性规则:会话标记(
[DX-AGENT-DEV: START]/DONE)、输出隔离到会话目录(不触碰现有源代码),以及没有占位符/存根代码。 - 技能 & 智能体利用 — 它将强制序列作为真实工具调用执行 —
dx-skill-router → dx-agent-brainstorm → dx-swe-writing-plans → dx-agent-tdd → dx-agent-verify— 而不是仅仅提及它们。 - 真实推理 — 检查最近的现有示例,从知识库确认真实框架 API,先编写验证(RED),然后逐文件生成 + 验证,最后才宣布完成。
前提条件
| 要求 | 详情 |
|---|---|
| DEEPX 开发环境 | 已安装 DX-RT SDK 并已 source setup_env.sh |
| AI 编码智能体(以下之一) | Claude Code、GitHub Copilot(VS Code)、Cursor、OpenCode 或 Codex CLI |
| Python | 安装了 dx-all-suite 软件包的 3.10 及以上版本 |
架构概述
智能体驱动的知识库分为三个独立的层次。每个层次都有自己的 .deepx/ 目录,包含智能体在任务时读取的技能、指令和记忆文件。
dx_app — 独立推理
不使用 GStreamer 运行推理的 Python 和 C++ 应用程序。核心抽象:
- IFactory — 创建模型特定的前/后处理管道
- SyncRunner / AsyncRunner — 阻塞和非阻塞推理执行器
- DxInfer — 封装 InferenceEngine 的低级推理包装器
.deepx/ 知识库涵盖模型加载、.dxnn 解析、批处理和结果可视化。
dx_stream — GStreamer 管道
基于 GStreamer 的实时视频分析。智能体了解分布在 6 个功能类别(源、推理、叠加、编码、流媒体和接收器)中的所有 13 个 DEEPX 元素,并能从单个自然语言提示词组装多分支管道。
dx-runtime — 集成层
跨项目路由和统一验证。dx-runtime 位于其他两层之上,将任务分发到正确的子项目构建器,并应用一致的编码标准、测试模式和模型管理规则。
dx-compiler — 模型编译
由 DX-COM 驱动的 DXNN 模型编译。智能体了解完整的编译管道 — ONNX 模型验证、带自动推断参数的 config.json 生成、校准数据准备、INT8 量化和 PPU 配置 — 并能从单个自然语言提示词编译模型。编译前,智能体会提出有关无 NMS 模型检测、ONNX 简化和 PPU 编译的必要头脑风暴问题,以确保正确配置。
可用的智能体和技能
智能体和技能在仓库的每个层次都可以使用。顶级 dx-all-suite 提供对任务进行分类并分发到正确子模块的路由智能体。
按层次划分的智能体
| 层次 | 智能体 | 描述 |
|---|---|---|
| dx-all-suite | @dx-suite-builder | 顶级路由器 — 对任务进行分类并路由到适当的子模块 |
| dx-all-suite | @dx-suite-validator | 套件级验证 — 跨所有 3 个层次运行框架检查 |
| dx-runtime | @dx-runtime-builder | 跨项目构建器 — 路由到 dx_app 或 dx_stream |
| dx-runtime | @dx-validator | 带反馈循环的统一验证协调器 |
| dx_app | @dx-app-builder | 独立推理构建器 — 路由到专业构建器 |
| dx_app | @dx-python-builder | Python 推理应用构建器(4 种变体:sync、async、cpp_postprocess、async_cpp_postprocess) |
| dx_app | @dx-cpp-builder | C++ 推理应用构建器 |
| dx_app | @dx-model-manager | 模型下载和注册表管理器 |
| dx_app | @dx-validator | dx_app 验证和反馈循环 |
| dx_stream | @dx-stream-builder | GStreamer 管道构建器 — 路由到专业构建器 |
| dx_stream | @dx-pipeline-builder | 管道构建(包含代理的 6 个类别) |
| dx_stream | @dx-validator | dx_stream 验证和反馈循环 |
| dx-compiler | @dx-compiler-builder | 模型编译路由器 — 路由到转换器或编译器 |
| dx-compiler | @dx-model-converter | PyTorch 到 ONNX 模型转换器 |
| dx-compiler | @dx-dxnn-compiler | ONNX 到 DXNN 编译器(DX-COM) |
技能(仅限 OpenCode)
| 层次 | 技能 | 描述 |
|---|---|---|
| dx-runtime | /dx-agent-runtime-validate | 验证、收集反馈、应用修复、重新验证 |
| dx_app | /dx-agent-app-build-python | 构建 Python 推理应用 |
| dx_app | /dx-agent-app-build-cpp | 构建 C++ 推理应用 |
| dx_app | /dx-agent-app-build-async | 构建异步高性能应用 |
| dx_app | /dx-agent-app-model-management | 下载和配置模型 |
| dx_app | /dx-agent-app-validate | 运行验证检查 |
| dx_stream | /dx-agent-stream-build-pipeline | 构建 GStreamer 管道应用 |
| dx_stream | /dx-agent-stream-build-mqtt-kafka | 构建 MQTT/Kafka 管道应用 |
| dx_stream | /dx-agent-stream-validate | 运行验证检查 |
| dx_stream | /dx-agent-stream-model-management | 下载和配置模型 |
| dx-compiler | /dx-agent-compiler-convert | 将 PyTorch 模型转换为 ONNX |
| dx-compiler | /dx-agent-compiler-compile | 将 ONNX 模型编译为 DXNN |
| dx-compiler | /dx-agent-compiler-validate | 验证已编译的 DXNN 输出 |
| DX All Suite | /dx-swe-brainstorm | 流程:任何工作前的协作设计会话 |
| DX All Suite | /dx-swe-tdd | 流程:测试驱动开发 — 渐进式验证 |
| DX All Suite | /dx-swe-verify | 流程:宣布完成前先验证 — 先有证据再下断言 |
| dx-runtime | /dx-swe-brainstorm | 流程:代码生成前的协作设计会话 |
| dx-runtime | /dx-swe-tdd | 流程:测试驱动开发 — 创建后立即验证每个文件 |
| dx-runtime | /dx-swe-verify | 流程:宣布完成前先验证 — 先有证据再下断言 |
| dx_app | /dx-swe-brainstorm | 流程:代码生成前的协作设计会话 |
| dx_app | /dx-swe-tdd | 流程:测试驱动开发 — 创建后立即验证每个文件 |
| dx_app | /dx-swe-verify | 流程:宣布完成前先验证 — 先有证据再下断言 |
| dx_stream | /dx-swe-brainstorm | 流程:代码生成前的协作设计会话 |
| dx_stream | /dx-swe-tdd | 流程:测试驱动开发 — 创建后立即验证每个文件 |
| dx_stream | /dx-swe-verify | 流程:宣布完成前先验证 — 先有证据再下断言 |
| dx-compiler | /dx-swe-brainstorm | 流程:编译前的协作设计会话 |
| dx-compiler | /dx-swe-tdd | 流程:测试驱动开发 — 逐步验证每个步骤 |
| dx-compiler | /dx-swe-verify | 流程:宣布完成前先验证 — 先有证据再下断言 |
如果不确定应该针对哪个子模块,请在顶级使用 @dx-suite-builder — 它将对您的任务进行分类并路由到正确的构建器。
支持的 AI 工具
智能体驱动开发可与五种 AI 编码工具配合使用。每种工具通过其自身的配置机制自动加载 .deepx/ 知识库。
| 工具 | 类型 | 自动加载机制 | 智能体调用 | 技能调用 |
|---|---|---|---|---|
| Claude Code | CLI | 项目根目录的 CLAUDE.md | 自由对话;上下文路由表自动分发 | — |
| GitHub Copilot | VS Code | .github/copilot-instructions.md | 在 Copilot Chat 中使用 @agent-name "prompt" | — |
| Cursor | IDE | .cursor/rules/*.mdc | 自由对话;通过 alwaysApply 或 globs 加载规则 | — |
| OpenCode | CLI | AGENTS.md + opencode.json | @agent-name "prompt" | /skill-name 斜杠命令 |
| Codex CLI | CLI | AGENTS.md + .codex/skills/dx-codex-identity/SKILL.md | 自由对话(~/bin/codex exec ...) | cat .deepx/skills/<name>/SKILL.md(直接读取) |
自动加载内容
| 工具 | 全局上下文 | 文件特定上下文 | 智能体 | 技能 |
|---|---|---|---|---|
| Claude Code | CLAUDE.md | 上下文路由表(手动) | .claude/agents/*.md(已生成) | .deepx/skills/(直接读取) |
| Copilot | .github/copilot-instructions.md | .github/instructions/*.instructions.md(applyTo: glob) | .github/agents/*.agent.md | .github/skills/(内联副本) |
| Cursor | .cursor/rules/dx-*.mdc(alwaysApply: true) | .cursor/rules/*.mdc(globs: patterns) | .cursor/rules/ 智能体 .mdc 文件 | .cursor/rules/ 技能 .mdc 文件 |
| OpenCode | AGENTS.md + opencode.json 指令 | — | .opencode/agents/*.md | .deepx/skills/SKILL.md |
| Codex CLI | AGENTS.md | — | .deepx/agents/*.md(直接 cat) | .codex/skills/dx-codex-identity/(自动)+ .deepx/skills/(手动 cat) |
首次设置
无需额外配置。在您偏好的工具中打开项目目录,配置文件将自动加载:
# Claude Code
cd dx-all-suite
claude
# OpenCode
cd dx-all-suite
opencode
# Codex CLI
cd dx-all-suite
~/bin/codex
# GitHub Copilot — 在 VS Code 中打开文件夹
code dx-all-suite
# Cursor CLI
cd dx-all-suite
cursor-agent
平台文件加载参考
每个 AI 编码智能体在套件级别自动加载不同的配置文件。标记为自动的文件在每次对话中加载;@提及文件通过智能体或技能命令手动调用。
Copilot Chat/CLI、Claude Code 和 Codex CLI 只能看到当前 git 根目录的文件。在 dx-all-suite/ 打开时,它们不会自动加载 dx-compiler/、dx-runtime/ 等子项目文件(这些是独立的 git 子模块)。OpenCode 通过 opencode.json 中的显式路径引用来弥合这一边界。
自动加载文件
| 文件 | 自动加载者 | 加载方式 |
|---|---|---|
.github/copilot-instructions.md | Copilot Chat/CLI | 自动 |
CLAUDE.md | Claude Code | 自动 |
AGENTS.md + opencode.json | OpenCode | 自动 |
AGENTS.md + .codex/skills/dx-codex-identity/SKILL.md | Codex CLI | 自动 |
.cursor/rules/dx-all-suite.mdc | Cursor | 自动 |
智能体文件(手动 @提及)
| 智能体 | Copilot(@提及) | OpenCode(@提及) |
|---|---|---|
dx-suite-builder | .github/agents/dx-suite-builder.agent.md | .opencode/agents/dx-suite-builder.md |
dx-suite-validator | .github/agents/dx-suite-validator.agent.md | .opencode/agents/dx-suite-validator.md |
Claude Code 在 .claude/agents/ 中有生成的智能体文件(如 dx-suite-builder.md)。
Cursor 在 .cursor/rules/ 中有智能体 .mdc 文件(如 dx-suite-builder.mdc)。
Claude Code 还使用 CLAUDE.md 中的上下文路由表来分发任务。
技能文件(仅限 OpenCode — /斜杠命令)
| 技能 | 文件 |
|---|---|
/dx-swe-brainstorm | .deepx/skills/dx-swe-brainstorm/SKILL.md |
/dx-swe-verify | .deepx/skills/dx-swe-verify/SKILL.md |
/dx-swe-tdd | .deepx/skills/dx-swe-tdd/SKILL.md |
/dx-swe-parallel-agents | .deepx/skills/dx-swe-parallel-agents/SKILL.md |
/dx-swe-executing-plans | .deepx/skills/dx-swe-executing-plans/SKILL.md |
/dx-swe-receiving-review | .deepx/skills/dx-swe-receiving-review/SKILL.md |
/dx-swe-requesting-review | .deepx/skills/dx-swe-requesting-review/SKILL.md |
/dx-skill-router | .deepx/skills/dx-skill-router/SKILL.md |
/dx-swe-subagent-dev | .deepx/skills/dx-swe-subagent-dev/SKILL.md |
/dx-swe-debugging | .deepx/skills/dx-swe-debugging/SKILL.md |
/dx-swe-writing-plans | .deepx/skills/dx-swe-writing-plans/SKILL.md |
共享知识库(.deepx/)
.deepx/ 目录是所有平台特定文件的规范来源(单一真实来源)。它包含平台无关格式的智能体、技能、模板和片段。dx-agent-gen 生成器将其转换为 Copilot(.github/)、Claude Code(.claude/)、OpenCode(.opencode/)和 Cursor(.cursor/rules/)的平台特定文件。
| 目录 | 内容 |
|---|---|
agents/ | dx-suite-builder、dx-suite-validator |
skills/ | 13 个技能(领域 + 共享流程技能) |
templates/ | {en,ko}/*.tmpl — 指令文件模板 |
templates/fragments/ | {en,ko}/*.md — 跨仓库重用的共享部分 |
memory/ | 跨会话的持久知识 |
knowledge/ | 结构化参考数据 |
instructions/ | 内部智能体指令 |
toolsets/ | 工具参考文档 |
指令文件(CLAUDE.md、AGENTS.md、copilot-instructions.md、英语+韩语)也由模板和片段生成 — 不应直接编辑。
平台文件生成
所有平台特定文件由 dx-agent-dev-gen 包从 .deepx/ 生成。不要直接编辑生成的文件。
pip install -e .deepx/tools # 安装生成器
dx-agent-gen generate # 生成平台文件
dx-agent-gen check # 验证没有偏差
预提交钩子强制生成的文件保持同步:
.deepx/tools/scripts/install-hooks.sh # 一次性设置
按工具的快速入门
从 dx-all-suite(顶级路由)
如果您在顶级 dx-all-suite 目录工作,希望智能体自动路由到正确的子模块:
提示词:
"Compile yolo26n.onnx to DXNN and build a person detection Python app with it"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开 dx-all-suite/ 并输入提示词。CLAUDE.md 将编译路由到 dx-compiler,将应用生成路由到 dx_app。 |
| GitHub Copilot | 打开 Copilot Chat:输入 @dx-suite-builder 后跟提示词。智能体分类任务并路由到正确的子模块。 |
| Cursor | 打开 dx-all-suite/ 并输入提示词。alwaysApply 规则路由到适当的子模块。 |
| OpenCode | 打开 dx-all-suite/:输入 @dx-suite-builder 后跟提示词。智能体自动路由。 |
| Codex CLI | 打开 dx-all-suite/ 并输入提示词(或 ~/bin/codex exec "<prompt>")。AGENTS.md 自动读取并跨子模块路由。 |
从子模块(直接访问)
在子模块中直接工作时,使用针对该子模块范围定制的提示词:
| 子模块 | 示例提示词 |
|---|---|
| dx-compiler | "Convert my yolo26x.pt to ONNX and compile it to DXNN for DX-M1" |
| dx_app | "Build a yolo26n person detection app using Python" |
| dx_stream | "Build a detection pipeline with RTSP camera and tracking" |
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开子模块目录并直接输入提示词。CLAUDE.md 自动读取。上下文路由表分发到正确的 .deepx/ 技能文件。 |
| GitHub Copilot | 打开 Copilot Chat:输入 @dx-app-builder、@dx-stream-builder 或 @dx-compiler-builder 后跟提示词。Copilot 在每次聊天中读取 .github/copilot-instructions.md。 |
| Cursor | 打开子模块文件夹并直接输入提示词。alwaysApply: true 的规则在每次对话中加载。带有 globs: 模式的规则在编辑匹配文件时激活。 |
| OpenCode | 打开子模块目录,使用适当的智能体(@dx-app-builder、@dx-stream-builder 或 @dx-compiler-builder)或对应的技能斜杠命令。 |
| Codex CLI | 打开子模块目录并输入提示词(或 ~/bin/codex exec "<prompt>")。AGENTS.md 自动读取;根据需要直接 cat 相关的 .deepx/skills/<name>/SKILL.md。 |
端到端场景
这些场景展示了跨多个子模块的跨项目工作流。有关子项目特定场景,请参阅下面链接的各个指南。
场景 1:自定义模型转换 + SDK 移植 + 验证
编译自定义模型、将推理代码移植到 DEEPX SDK 并验证结果的完整管道。
提示词:
"I have yolo26x-custom.onnx at ./models/ and my inference code at ./inference.py using onnxruntime. Convert it to DXNN and port my code to DEEPX SDK."
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开 dx-all-suite/ 并输入提示词。套件构建器进行编排:(a) dx-compiler 将 ONNX 模型编译为 DXNN,(b) dx_app 移植推理代码,(c) 验证确认移植的应用可以正常工作。 |
| GitHub Copilot | 输入 @dx-suite-builder 后跟提示词。智能体将编译路由到 dx-compiler,将移植路由到 dx_app。 |
| Cursor | 打开 dx-all-suite/ 并输入提示词。路由器分发到正确的子模块。 |
| OpenCode | 输入 @dx-suite-builder 后跟提示词。 |
| Codex CLI | 打开 dx-all-suite/ 并输入提示词。AGENTS.md 编排跨子模块工作。 |
此场景涉及三个阶段:
- dx-compiler:使用自动推断配置将
yolo26x-custom.onnx→yolo26x-custom.dxnn编译 - dx_app:使用已编译模型生成带有
InferenceEngine的 Python 推理应用 - 验证:运行移植的应用并与原始 onnxruntime 代码的输出进行比较
场景 2:模型编译 + 示例应用生成
编译模型并生成使用已编译输出的独立推理应用。此跨项目场景跨越 dx-compiler 和 dx_app。
提示词:
"Compile yolo26n.onnx to DXNN and generate a Python detection app that uses the compiled model"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开 dx-all-suite/ 并输入提示词。套件构建器进行编排:(a) dx-compiler 将 ONNX 编译为 DXNN,(b) dx_app 生成引用已编译模型的 Python 应用。 |
| GitHub Copilot | 输入 @dx-suite-builder 后跟提示词。将编译路由到 dx-compiler,将应用生成路由到 dx_app。 |
| Cursor | 打开 dx-all-suite/ 并输入提示词。路由器分发到两个子模块。 |
| OpenCode | 输入 @dx-suite-builder 后跟提示词。 |
| Codex CLI | 打开 dx-all-suite/ 并输入提示词。AGENTS.md 编排跨子模块工作。 |
此场景涉及两个阶段:
- dx-compiler:使用自动推断配置将
yolo26n.onnx→yolo26n.dxnn编译 - dx_app:生成使用已编译
.dxnn模型的 Python 检测应用
场景 3:模型编译 + 流媒体管道生成
编译模型并生成使用已编译输出的 GStreamer 流媒体管道。此跨项目场景跨越 dx-compiler 和 dx_stream。
提示词:
"Compile yolo26n.onnx to DXNN and build a detection streaming pipeline with RTSP output"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开 dx-all-suite/ 并输入提示词。套件构建器进行编排:(a) dx-compiler 将 ONNX 编译为 DXNN,(b) dx_stream 生成带有 RTSP 输出的 GStreamer 管道。 |
| GitHub Copilot | 输入 @dx-suite-builder 后跟提示词。将编译路由到 dx-compiler,将管道路由到 dx_stream。 |
| Cursor | 打开 dx-all-suite/ 并输入提示词。路由器分发到两个子模块。 |
| OpenCode | 输入 @dx-suite-builder 后跟提示词。 |
| Codex CLI | 打开 dx-all-suite/ 并输入提示词。AGENTS.md 编排跨子模块工作。 |
此场景涉及两个阶段:
- dx-compiler:使用自动推断配置将
yolo26n.onnx→yolo26n.dxnn编译 - dx_stream:生成使用已编译模型的 DxInfer 和带 RTSP 流媒体输出的检测管道
场景 4:PPU 模型编译 + 检测应用
使用 PPU(前/后处理单元)支持编译 YOLO 模型以实现硬件加速后处理,然后生成使用 PPU 模型的应用。
提示词:
"Compile yolo26n.onnx with PPU support and generate a detection app for the PPU model"
| 工具 | 使用方法 |
|---|---|
| Claude Code | 打开 dx-all-suite/ 并输入提示词。套件构建器进行编排:(a) dx-compiler 使用 PPU 配置编译(根据 YOLO 版本自动检测类型),(b) dx_app 生成带有简化后处理的 PPU 专用应用。 |
| GitHub Copilot | 输入 @dx-suite-builder 后跟提示词。将 PPU 编译路由到 dx-compiler,将 PPU 应用生成路由到 dx_app。 |
| Cursor | 打开 dx-all-suite/ 并输入提示词。路由器分发到两个子模块。 |
| OpenCode | 输入 @dx-suite-builder 后跟提示词。 |
| Codex CLI | 打开 dx-all-suite/ 并输入提示词。AGENTS.md 编排跨子模块工作。 |
此场景涉及两个阶段:
- dx-compiler:使用 PPU 配置编译 — 智能体自动检测 PPU 类型(基于锚点的 YOLO 为类型 0,无锚点 YOLO 为类型 1)
- dx_app:在
src/python_example/ppu/下生成带有简化后处理(边界框由硬件解码)的 PPU 专用检测应用
跨项目路由
dx-all-suite 元指南提供到所有子项目场景的路由。如果您的任务与子项目指南中的某个场景匹配,套件构建器将自动路由到那里。
- dx-runtime 场景(跨项目构建、统一验证):参见 dx-runtime 指南
- dx_app 场景(Python/C++ 推理应用):参见 dx_app 指南
- dx_stream 场景(GStreamer 管道):参见 dx_stream 指南
- dx-compiler 场景(模型编译):参见 dx-compiler 指南
您无需导航到子项目目录。在 dx-all-suite 级别使用 @dx-suite-builder — 它会自动路由到任何子项目。
子项目指南
每个子项目都有详细的智能体驱动开发指南,涵盖其特定技能、元素目录和工作示例:
内部参考文档
关于 .deepx/ 规范来源、生成器管道和框架开发模型的深入了解(面向贡献者,不面向终端用户):
| 文档 | 范围 |
|---|---|
.deepx/docs/dx-agent-dev-overview.md | 5 个仓库中每个 .deepx/ 目录的全面演示 |
.deepx/README.md | .deepx/ 知识库的顶级主索引 |
.deepx/docs/skill-architecture.md | 三层技能模型(SWE / 智能体驱动 / 框架) |
.deepx/tools/README.md | dx-agent-gen 生成器包指南 |
.deepx/tools/scripts/README.md | 操作脚本(run_all.sh、钩子、端到端循环) |
输出隔离
默认情况下,所有智能体生成的代码放置在目标子项目内的 dx-agent-dev/<session_id>/ 中。这可以防止意外修改现有的生产代码。
| 输出类型 | 路径 | 时机 |
|---|---|---|
| 默认(隔离) | dx-agent-dev/<session_id>/ | 除非用户另有说明,否则始终如此 |
| 生产 | src/ | 仅在用户明确请求时 |
会话 ID 格式:YYYYMMDD-HHMMSS_<agent>_<model>_<task>,其中 <agent> 为 claude、codex、copilot、cursor 或 opencode。
每个会话目录包含:
README.md— 会话元数据、生成的文件列表、运行说明session.json— 机器可读的会话配置
dx-agent-dev/ 目录在 dx_app 和 dx_stream 中均被 git 忽略。
dx-compiler 会话目录
对于 dx-compiler,会话目录还包含:
calibration_dataset— 指向dx_com/calibration_dataset/的符号链接config.json— 带相对校准路径的自动生成 DX-COM 配置compiler.log— 编译日志(使用--gen_log时)
智能体自动设置校准数据(检查 dx_com/calibration_dataset/,如需要则运行设置脚本,并使用相对路径创建符号链接)。
套件级跨项目输出
从 dx-all-suite 级别运行跨项目任务(如编译 + 部署)时,工件在每个目标子项目的 dx-agent-dev/ 目录中创建。此外,在 dx-all-suite/dx-agent-dev/ 中创建符号链接以便统一访问:
dx-all-suite/dx-agent-dev/
├── dx-compiler_20260409-070940_yolo26n_pt_to_dxnn -> ../dx-compiler/dx-agent-dev/20260409-...
└── dx_app_20260409-071500_yolo26n_detection_app -> ../dx-runtime/dx_app/dx-agent-dev/20260409-...
符号链接命名规则:\\{subproject\\}_\\{session_id\\}。
会话标记
智能体在每个任务的开始和结束时输出固定标记,用于自动化测试:
| 标记 | 时机 |
|---|---|
[DX-AGENT-DEV: START] | 关键 — 在任何其他文本、工具调用或推理之前,智能体第一个响应的绝对第一行。即使用户说"直接继续"也不可协商 — 没有此标记,自动化测试将会失败。 |
[DX-AGENT-DEV: DONE (output-dir: <relative_path>)] | 所有工作完成后的最后一行。<relative_path> 是相对于项目根目录的会话输出目录。如果未生成文件,省略 (output-dir: ...) 部分。 |
重要说明:DONE 意味着所有交付物都已生成 — 实现代码、脚本、配置和验证结果。如果智能体只生成了规划工件(规格、计划、设计文档)而没有实现实际代码,则不得输出 DONE。