# 汽车环车视频旧伤检测 Skill 设计
> 日期:2026-05-04
> 状态:Draft
> 范围:新增一个业务级 compute-entry Skill,用于从环车视频中抽帧、检测漆面旧伤、定位标注损伤区域并筛选最佳证据帧。
> 部署约束:生产形态是 Windows 安装包,本设计必须遵守后端 `dataDir`、bundled skills 复制、可写目录和托盘运行时边界。
## 1. 背景与目标
RZYX_AI_MONOREPO 当前以 NetaClaw Skill Runtime 为核心承载可扩展业务能力。Skill 已支持 `SKILL.md`、`skill.config.yaml`、skill scoped secrets、`execute_skill` 和 stdin/stdout JSON 协议。
本设计新增一个独立业务 Skill:**汽车环车视频旧伤检测**。它不依赖旧 AI_flow 后端的 `BaseSkill`、LangChain tool、Midway service 注入或旧 progress emitter,而是按新项目 Skill Runtime 的 compute-entry 机制实现。
目标:
- 输入一个环车视频文件,输出结构化旧伤检测结果。
- 自动抽帧并保留每帧时间戳。
- 分批调用多模态模型识别车身漆面旧伤。
- 对候选损伤调用支持 grounding/bbox 的视觉模型定位区域。
- 在图片上绘制标注框,筛选每处损伤的最佳证据帧。
- 所有模型、API Key、API URL、workspace 根目录等运行配置都从 `skill.config.yaml` env/schema 或输入参数读取,不在代码里硬编码密钥。
- Windows 安装包生产环境下,所有运行产物只能写入后端 `dataDir` 下的可写目录,不能写入安装目录、源码目录或 bundled skill 原始目录。
非目标:
- 第一版不做前端专用结果卡片。
- 第一版不做实时进度推送。
- 第一版不训练 YOLO/SAM 等专用模型。
- 第一版不生成正式检测报告 PDF/HTML。
- 第一版不做人工复核工作流。
## 2. 总体形态
采用 **一个对外大 Skill + 内部模块化流水线** 的结构。
Agent 只调用一次:
```json
{
"name": "vehicle-damage-inspection",
"input": {
"videoUrl": "/upload/20260504/car.mp4",
"fps": 3,
"topN": 1
}
}
```
Skill 内部固定按协议执行:
```text
输入视频
-> frame_extractor 抽帧
-> damage_detector 环车旧伤候选检测
-> damage_grounding 损伤 bbox 定位和画框
-> best_frame_selector 去重和最佳帧筛选
-> 输出最终 JSON
```
选择大 Skill 的原因:
- 视频旧伤检测是垂直业务流程,不是通用 Agent 工具。
- 让 Agent 连续调用四个 Skill 并传递 `taskId` 会增加失败点。
- 固定流水线更稳定,便于测试、重跑和后续替换局部模块。
- 内部模块保持独立,未来仍可拆出单独 Skill。
## 3. Skill 目录结构
参考 `packages/backend/skills/minimax-pdf` 的组织方式,但本 Skill 以 compute-entry 为主,额外保留 `make.sh` 方便人工调试。
```text
packages/backend/skills/vehicle-damage-inspection/
├── SKILL.md
├── skill.config.yaml
├── README.md
├── prompts/
│ ├── damage_detect.md
│ ├── grounding.md
│ ├── dedup.md
│ └── best_frame.md
└── scripts/
├── index.cjs
├── make.sh
├── setup.ps1
└── lib/
├── workspace.cjs
├── frame_extractor.cjs
├── vision_client.cjs
├── damage_detector.cjs
├── damage_grounding.cjs
├── best_frame_selector.cjs
├── image_marker.cjs
└── json_utils.cjs
```
职责边界:
| 文件 | 职责 |
| --- | --- |
| `SKILL.md` | 面向 Agent 的能力说明、触发场景、输入输出摘要 |
| `skill.config.yaml` | runtime、entrypoint、依赖、env、接口 schema |
| `scripts/index.cjs` | stdin/stdout JSON 入口,编排完整流水线 |
| `scripts/make.sh` | Git Bash / POSIX 本地 `check/run/demo` 调试入口 |
| `scripts/setup.ps1` | Windows 安装器 setup 入口;当前 installer 在 win32 下使用 `powershell -File` 执行 setup |
| `workspace.cjs` | 创建 task workspace、读写 JSON、解析 `/upload/` 路径 |
| `frame_extractor.cjs` | ffmpeg/ffprobe 抽帧与视频元信息 |
| `vision_client.cjs` | OpenAI-compatible vision API 调用、重试、JSON/bbox 解析 |
| `damage_detector.cjs` | 分批读取帧,识别候选旧伤 |
| `damage_grounding.cjs` | 读取候选旧伤,找邻近帧,调用 grounding 模型 |
| `image_marker.cjs` | 用 sharp 绘制 bbox 和标签 |
| `best_frame_selector.cjs` | 损伤去重、最佳帧模型筛选、启发式兜底 |
## 4. skill.config.yaml
第一版使用 Node runtime,避免 Python venv 要求;依赖通过 skill 的 `dependencies.node.packages` 声明。生产 Windows 安装包应在打包或安装阶段预置 Node 依赖,不把现场 `npm install` 作为正常运行路径;`setup` 只作为安装/修复入口。
```yaml
runtime: node
entrypoint: scripts/index.cjs
timeout: 900000
dependencies:
system:
- name: ffmpeg
check: "ffmpeg -version"
- name: ffprobe
check: "ffprobe -version"
- name: node
check: "node --version"
node:
packages:
- axios
- sharp
- fluent-ffmpeg
- "@ffmpeg-installer/ffmpeg"
- "@ffprobe-installer/ffprobe"
setup:
posix: scripts/make.sh fix
win32: scripts/setup.ps1
env:
- name: ARK_API_KEY
required: true
description: 火山方舟/豆包 OpenAI-compatible API Key
- name: ARK_API_URL
required: false
default: https://ark.cn-beijing.volces.com/api/v3/chat/completions
description: OpenAI-compatible chat completions endpoint
- name: DAMAGE_DETECT_MODEL
required: true
default: doubao-seed-2-0-pro-260215
description: 用于环车旧伤候选检测的多模态模型 ID
- name: DAMAGE_GROUNDING_MODEL
required: true
default: doubao-seed-2-0-pro-260215
description: 支持 bbox/grounding 输出的视觉模型 ID;当前默认豆包模型已支持 bbox 和定位
- name: BEST_FRAME_MODEL
required: false
default: doubao-seed-2-0-pro-260215
description: 用于损伤去重和最佳帧筛选的模型 ID;未配置时复用 DAMAGE_DETECT_MODEL
- name: RZYX_AI_WORKSPACE_ROOT
required: false
description: 检测产物 workspace 根目录;生产环境由宿主注入,默认应为 dataDir/workspace/vehicle-damage-inspection
- name: RZYX_AI_UPLOAD_ROOT
required: false
description: 后端 /upload 路径对应的本地 uploads 根目录;生产环境由宿主注入,默认应为 dataDir/uploads
- name: RZYX_AI_DATA_DIR
required: false
description: 后端运行时 dataDir;由 Windows 安装包/runtime 注入,skill 可据此推导 workspace/uploads 默认路径
interface:
input:
videoUrl:
type: string
required: true
description: 视频本地路径或 /upload/... 路径;第一版不支持 http(s) URL
taskId:
type: string
required: false
description: 可选任务 ID;未传则自动生成
fps:
type: number
required: false
default: "3"
description: 抽帧帧率
quality:
type: number
required: false
default: "90"
description: 输出 JPG 质量,范围 1-100
batchSize:
type: number
required: false
default: "12"
description: 每批发送给检测模型的帧数
concurrency:
type: number
required: false
default: "2"
description: 多模态 API 并发数
groundingWindow:
type: number
required: false
default: "1.5"
description: 每个损伤时间点前后取帧窗口,单位秒
topN:
type: number
required: false
default: "1"
description: 每处损伤返回的最佳证据帧数量
mode:
type: string
required: false
default: full
description: full | frames-only | detect-only,用于调试或重跑部分流程
output:
success:
type: boolean
taskId:
type: string
workspacePath:
type: string
summary:
type: object
damages:
type: array
artifacts:
type: object
```
模型配置原则:
- 代码不写死 API Key、模型 ID 或业务密钥。
- `skill.config.yaml env` 是模型和密钥 schema 的单一来源。宿主需要把 `skill.config.yaml` 中的 env 声明同步到 `NetaClawSkillEntity.envSchema`,这样管理页、默认模型和 `SkillSecretService.resolveEnv()` 使用同一份配置;不要要求在 `SKILL.md metadata.env` 中重复声明。
- 当前默认模型为 `doubao-seed-2-0-pro-260215`。该豆包模型支持多模态理解、bbox 和定位能力,因此第一版可同时作为候选旧伤检测、损伤 grounding 和最佳帧筛选模型使用。
- `DAMAGE_DETECT_MODEL` 负责从视频帧中识别候选旧伤,默认 `doubao-seed-2-0-pro-260215`。
- `DAMAGE_GROUNDING_MODEL` 负责输出 bbox,默认 `doubao-seed-2-0-pro-260215`;它应返回 `x1 y1 x2 y2` 或等价结构化定位。
- `BEST_FRAME_MODEL` 可选,未配置时复用检测模型。
- 所有模型调用使用同一个 `ARK_API_URL` 和 `ARK_API_KEY`。第一版用一个豆包模型即可跑通;后续如需要按阶段切换模型,再通过 env 覆盖模型 ID。
运行目录配置原则:
- 生产环境必须由宿主运行时注入 `RZYX_AI_DATA_DIR`,并由 Skill 推导:
- `RZYX_AI_WORKSPACE_ROOT = {RZYX_AI_DATA_DIR}/workspace/vehicle-damage-inspection`
- `RZYX_AI_UPLOAD_ROOT = {RZYX_AI_DATA_DIR}/uploads`
- 管理端仍允许用 skill secrets 覆盖这些路径,但默认不要求用户手填。
- 开发态没有 `RZYX_AI_DATA_DIR` 时,才允许 fallback 到 skill 目录下 `.workspace`。
## 5. 输入输出协议
### 5.1 输入
`scripts/index.cjs` 从 stdin 读取 JSON:
```json
{
"videoUrl": "/upload/20260504/car.mp4",
"taskId": "optional-task-id",
"fps": 3,
"quality": 90,
"batchSize": 12,
"concurrency": 2,
"groundingWindow": 1.5,
"topN": 1,
"mode": "full"
}
```
### 5.2 输出
stdout 只输出一个 JSON 对象:
```json
{
"success": true,
"taskId": "20260504-abc",
"workspacePath": "C:/ProgramData/RZYX-AI/data/workspace/vehicle-damage-inspection/20260504-abc",
"summary": {
"duration": 42.3,
"resolution": "1920x1080",
"frameCount": 127,
"candidateDamageCount": 5,
"mergedDamageCount": 3,
"bestFrameCount": 3
},
"damages": [
{
"id": "dmg_001",
"part": "左前门",
"type": "划痕",
"severity": "轻微",
"description": "左前门中部可见细长白色划痕",
"timestamps": [12.4, 12.7],
"bestFrames": [
{
"timestamp": 12.4,
"path": "C:/.../marked_frames/dmg_001_12.40s.jpg",
"relativePath": "marked_frames/dmg_001_12.40s.jpg",
"bbox": { "x1": 120, "y1": 340, "x2": 280, "y2": 390 }
}
]
}
],
"artifacts": {
"videoInfo": "video_info.json",
"damageCandidates": "damage_candidates.json",
"damageAnnotations": "damage_annotations.json",
"bestFrames": "best_frames.json"
}
}
```
失败时:
```json
{
"success": false,
"error": "视频文件不存在: ...",
"taskId": "..."
}
```
stderr 可输出人类可读日志,但不能输出最终 JSON,以免 `SkillExecutorService` 解析 stdout 失败。
## 6. Workspace 协议
每次运行创建或复用一个 task workspace:
```text
workspace/{taskId}/
├── source/
│ └── input.mp4
├── frames/
│ └── frame_000001_0.33s.jpg
├── marked_frames/
│ └── dmg_001_12.40s.jpg
├── video_info.json
├── damage_candidates.json
├── damage_annotations.json
├── best_frames.json
└── run_summary.json
```
生产环境 workspace 根目录必须位于后端 dataDir 下:
```text
{dataDir}/workspace/vehicle-damage-inspection/{taskId}/
```
Windows 安装包场景下,后端 dataDir 解析顺序由 `comm/data-dir.ts` 决定:外部 `config.yaml` 的 `data.dir`、`NETA_DATA_DIR`、pkg 模式 `/data`。本 Skill 不直接 import 后端 `pDataPath()`,而是通过宿主注入的 env 使用该目录。
开发态 fallback:
```text
packages/backend/skills/vehicle-damage-inspection/.workspace
```
该 fallback 仅用于本地调试。生产运行如果既没有 `RZYX_AI_DATA_DIR`,也没有 `RZYX_AI_WORKSPACE_ROOT`,Skill 应返回配置错误,而不是默默写入 skill 目录。
`/upload/...` 路径解析策略:
- 如果 `videoUrl` 是存在的本地路径,直接使用。
- 如果 `videoUrl` 匹配 `/upload/`,生产环境使用 `RZYX_AI_UPLOAD_ROOT/` 解析。
- 开发态未配置 `RZYX_AI_UPLOAD_ROOT` 时,可从 `RZYX_AI_DATA_DIR/uploads` 或 `RZYX_AI_WORKSPACE_ROOT/../../uploads` 推导;生产环境不能依赖推导。
- 第一版明确不支持 http(s) URL。遇到 http(s) 输入时返回 `success:false` 和明确错误;如果后续要支持远程 URL,必须新增下载模块,把视频下载到 `source/input.mp4`,并实现协议白名单、大小限制、超时、重定向限制和审计日志。
### 6.1 Windows 安装包运行时约束
Windows 安装包部署时,后端 `backend.exe`、托盘程序、配置文件和 bundled skills 都在安装目录附近;真正可写的业务数据必须在 dataDir。
本 Skill 需要遵守以下约束:
- bundled skill 目录只作为模板来源。首次启动时,后端会把 bundled skills 复制到 `{dataDir}/skills`;运行时加载和执行的是 `{dataDir}/skills/vehicle-damage-inspection`。
- Skill 代码、prompt、脚本可以位于 `{dataDir}/skills/...`,但检测产物不得写入该目录,避免升级、重装、依赖安装或清理时误删业务数据。
- workspace、下载视频副本、抽帧图片、标注图片、JSON artifact 都写入 `{dataDir}/workspace/vehicle-damage-inspection/{taskId}`。
- 上传视频来源优先解析为 `{dataDir}/uploads/...`。
- 日志只写 stderr 或 `{dataDir}/logs` 下由宿主管理的日志,不在安装目录创建日志。
- 如需清理过期 workspace,应按 dataDir 下的 workspace mtime/manifest 执行,不扫描 skill 代码目录。
- `sharp`、`fluent-ffmpeg`、`@ffmpeg-installer/ffmpeg`、`@ffprobe-installer/ffprobe` 等运行依赖应在打包或安装阶段准备好。生产运行时不依赖联网执行 `npm install`;`setup.ps1` 只用于安装器或人工修复。
### 6.2 宿主运行时需要补充的 env 注入
当前 `SkillExecutorService` 只注入 env 白名单和 skill secrets。为减少 Windows 安装包配置成本,宿主应在执行 compute-entry skill 时额外注入:
```text
RZYX_AI_DATA_DIR={pDataPath()}
RZYX_AI_WORKSPACE_ROOT={pDataPath()}/workspace/vehicle-damage-inspection
RZYX_AI_UPLOAD_ROOT={pUploadPath()}
```
这些不是密钥,不应要求管理员在 Skill secrets 中手动配置。Skill secrets 只负责模型 API Key、模型 ID 和可选覆盖项。
如果暂时不改 `SkillExecutorService`,MVP 实现必须把 `RZYX_AI_WORKSPACE_ROOT` 和 `RZYX_AI_UPLOAD_ROOT` 标记为部署必填配置,并在 Windows 安装文档里写清楚。
## 7. 流水线设计
### 7.1 抽帧
`frame_extractor.cjs` 负责:
- 检查视频存在。
- 用 ffprobe 获取 duration、fps、分辨率、视频流信息。
- 用 ffmpeg 按 `fps` 抽帧到 `frames/`。
- 文件名包含序号和时间戳。
- 写出 `video_info.json`。
抽帧输出:
```json
{
"videoPath": "...",
"videoInfo": {
"duration": 42.3,
"videoFps": 29.97,
"resolution": "1920x1080",
"extractFps": 3,
"extractedFrames": 127
},
"frames": [
{
"index": 0,
"timestamp": 0,
"relativePath": "frames/frame_000001_0.00s.jpg",
"path": "..."
}
]
}
```
第一版不做复杂视频质量过滤。可以保留轻量重复帧/模糊帧过滤接口,但默认关闭,避免误删证据帧。
### 7.2 环车旧伤候选检测
`damage_detector.cjs` 负责:
- 读取 `video_info.json` 和 `frames/`。
- 按 `batchSize` 分批组装多模态请求。
- 每张图前插入时间戳文本。
- 调用 `DAMAGE_DETECT_MODEL`。
- 要求模型只返回 JSON。
- 合并各批结果并写出 `damage_candidates.json`。
检测 prompt 重点:
- 只检测车身漆面/外观旧伤:划痕、凹陷、掉漆、裂纹、锈蚀等。
- 反光、污渍、阴影、压缩噪声不应直接判定为损伤。
- 不确定结果标记 `confidence: "low"` 或 `uncertain: true`。
- 输出位置、类型、严重程度、时间点和证据描述。
候选输出:
```json
{
"totalFrames": 127,
"batches": [
{
"batch": 1,
"frameStart": 0,
"frameEnd": 11,
"status": "success"
}
],
"candidates": [
{
"id": "cand_001",
"timestamp": 12.4,
"part": "左前门",
"type": "划痕",
"severity": "轻微",
"description": "左前门中部可见细长白色划痕",
"confidence": "medium"
}
]
}
```
并发控制:
- 默认 `concurrency=2`,避免视觉模型请求体过大导致限流。
- 对 429/TooManyRequests 做指数退避重试。
- API 请求超时默认 10 分钟。
### 7.3 损伤定位标注
`damage_grounding.cjs` 负责:
- 读取 `damage_candidates.json` 和 `video_info.json`。
- 对每个 candidate 取 `timestamp ± groundingWindow` 的帧。
- 调用 `DAMAGE_GROUNDING_MODEL`。
- 解析 bbox。
- 用 `image_marker.cjs` 画红框和标签。
- 写出 `damage_annotations.json`。
bbox 坐标约定:
- 模型输出优先使用 0-1000 归一化坐标。
- 内部统一转换为图片像素坐标后画框。
- 输出 JSON 同时保存 normalized 和 pixel 坐标。
标注输出:
```json
{
"annotations": [
{
"candidateId": "cand_001",
"damageId": "dmg_001",
"part": "左前门",
"type": "划痕",
"severity": "轻微",
"markedFrames": [
{
"timestamp": 12.4,
"sourceRelativePath": "frames/frame_000038_12.40s.jpg",
"markedRelativePath": "marked_frames/dmg_001_12.40s.jpg",
"bbox": {
"normalized": { "x1": 120, "y1": 315, "x2": 280, "y2": 380 },
"pixel": { "x1": 230, "y1": 340, "x2": 538, "y2": 410 }
},
"groundingRaw": "120 315 280 380"
}
]
}
]
}
```
如果 grounding 模型未返回 bbox:
- 仍复制原图到 `marked_frames/`。
- `bbox` 为空。
- 标记 `groundingStatus: "no_bbox"`,后续最佳帧筛选降低评分。
### 7.4 最佳帧筛选
`best_frame_selector.cjs` 负责:
- 读取 `damage_annotations.json`。
- 对候选损伤做去重合并。
- 对每处损伤的标注帧选择最佳 `topN`。
- 写出 `best_frames.json` 和最终 summary。
去重策略:
- 第一优先:调用 `BEST_FRAME_MODEL`,输入候选损伤摘要,让模型输出合并分组。
- 兜底:位置文本相似、损伤类型一致、时间相近的候选合并。
- 去重后生成稳定 `dmg_001`、`dmg_002` 编号。
最佳帧策略:
- 如果某处损伤候选独立帧数小于等于 3,按启发式评分选择每个时间点最好的标注版本。
- 如果候选帧较多,调用模型选择 `topN * 3` 候选,再按原始时间戳去重,最终保留 `topN`。
- 模型失败时使用启发式评分。
- 第一版实现必须真实接入 `BEST_FRAME_MODEL` 的去重/筛选调用,不能只保留 env 而完全不用;启发式逻辑只作为失败兜底和少量候选快速路径。
启发式评分因素:
- 有 bbox 的帧优先。
- bbox 面积适中优先。
- bbox 不贴边优先。
- 同一时间戳只保留评分最高的标注版本。
## 8. 错误处理
| 场景 | 行为 |
| --- | --- |
| 输入视频不存在 | 返回 `success:false`,不创建后续 artifact |
| 输入 http(s) URL | 第一版返回 `success:false`,提示仅支持本地路径和 `/upload/...` |
| ffmpeg/ffprobe 缺失 | `make.sh check` 报错;运行时返回可诊断错误 |
| 抽帧为空 | 返回失败,提示视频无法抽帧 |
| 模型配置缺失 | 返回失败,明确指出缺少 env 名称 |
| 生产环境缺少 dataDir/workspace/upload 运行目录 | 返回失败,提示宿主未注入 `RZYX_AI_DATA_DIR` 或必要路径 |
| 某批检测失败 | 记录 batch error,继续处理其他批次 |
| 全部检测批次失败 | 返回失败,保留 `video_info.json` 和错误摘要 |
| 未发现损伤 | 返回 `success:true`,damageCount 为 0 |
| grounding 部分失败 | 保留无 bbox 标注帧,后续筛选降权 |
| best frame 模型失败 | 使用启发式兜底 |
| stdout JSON 生成异常 | `index.cjs` 捕获后输出标准失败 JSON |
## 9. 与 Agent Runtime 的关系
本 Skill 通过当前 Skill Runtime 执行:
```text
Agent -> execute_skill({ name, input })
-> SkillExecutorService
-> node scripts/index.cjs
-> stdout JSON
-> tool_result
```
ToolResolver 只需要在 Agent 绑定了 `vehicle-damage-inspection` 且工具治理允许 `execute_skill` 时注入执行工具。Agent 不需要看到内部四个模块,也不需要调用 `bash`。
为适配 Windows 安装包生产形态,`SkillExecutorService` 需要在执行该 Skill 时提供运行时目录 env。该改动属于宿主能力补强,不改变 `execute_skill` 对 Agent 暴露的 schema。
第一版不修改 `SkillExecutorService` 的流式协议。由于视频检测耗时较长,后续可以扩展:
- 子进程 stderr 输出 JSONL progress。
- `SkillExecutorService` 识别 progress 事件并转成 `tool_result_streamed`。
- 前端对 `execute_skill` 增加视频检测进度展示。
该扩展不阻塞 MVP。
## 10. 测试策略
### 10.1 单元测试
优先测试纯函数和模块边界:
- `parseJSON()`:兼容 markdown code fence 和文本包裹 JSON。
- `parseBboxes()`:解析 `x1 y1 x2 y2`。
- `workspace`:创建 task、写读 JSON、路径安全。
- `syncSkillConfigEnvSchema()`:从 `skill.config.yaml env` 同步默认模型和密钥 schema 到 DB,而不是依赖 `SKILL.md metadata.env`。
- `best_frame_selector`:去重兜底、启发式评分、同时间戳去重。
- `image_marker`:给一张 fixture 图片画框,确认输出文件存在。
### 10.2 集成测试
使用小型测试视频:
- `make.sh check` 验证依赖。
- `make.sh run --video fixtures/car.mp4 --mode frames-only` 验证抽帧。
- mock `vision_client` 验证完整流水线不依赖真实 API。
- 有真实模型配置时,手动运行完整视频检测。
### 10.3 验收标准
MVP 完成的判断:
- 后端 skill loader 能识别该 Skill 为 `compute-entry`。
- Agent 绑定该 Skill 后能通过 `execute_skill` 调起。
- 输入视频后能生成 `video_info.json`、`damage_candidates.json`、`damage_annotations.json`、`best_frames.json`。
- 有损伤视频能输出至少一张红框标注图。
- 无损伤视频能返回 `success:true` 且损伤数为 0。
- 未配置模型密钥时返回明确错误,不出现硬编码密钥。
## 11. 实施顺序
1. 补强 Skill 配置加载:从 `skill.config.yaml env` 同步 `envSchema`,确保默认模型和管理页一致。
2. 创建 Skill 目录、`SKILL.md`、`skill.config.yaml`、`README.md`。
3. 补强 `SkillExecutorService`:注入 `RZYX_AI_DATA_DIR`、`RZYX_AI_WORKSPACE_ROOT`、`RZYX_AI_UPLOAD_ROOT` 这三个非密钥运行时 env。
4. 实现 `scripts/index.cjs` stdin/stdout 协议和统一错误包装。
5. 实现 workspace 和路径解析,生产路径固定落在 dataDir 下,并明确拒绝 http(s) URL。
6. 实现 ffmpeg 抽帧。
7. 实现 vision client、prompt 文件和模型配置读取。
8. 实现候选损伤检测。
9. 实现 grounding 和图片标注。
10. 实现 `BEST_FRAME_MODEL` 参与的去重/最佳帧筛选,以及启发式兜底。
11. 增加 `make.sh check/run/demo` 和 Windows `setup.ps1`。
12. 增加必要测试或 mock 验证脚本。
13. 用 pkg/Windows 安装包路径模拟验证:确认 workspace/uploads/logs 都不写入安装目录或 skill 代码目录。
14. 在技能管理页配置模型 env secrets 后进行真实视频手测。
## 12. 风险与后续扩展
### 12.1 主要风险
- 多模态模型容易把反光、污渍、阴影误判为旧伤。
- 一次发送过多帧会降低模型注意力并增加请求失败概率。
- grounding 模型能力不稳定时,bbox 可能偏移或为空。
- 长视频会导致抽帧和模型调用成本高。
- 当前 `execute_skill` 不支持流式进度,用户体验可能是长时间等待。
### 12.2 缓解策略
- 默认低 fps 和小 batch。
- prompt 明确要求不确定就标记 uncertain,不强行报损伤。
- 对 bbox 失败保留原图和状态,避免流程中断。
- 保留 `mode` 参数支持分阶段调试。
- 输出完整 artifact,方便人工复核和后续重跑。
### 12.3 后续扩展
- 增加 progress JSONL 协议。
- 增加前端专用结果卡片。
- 增加人工复核和修正 bbox。
- 增加报告生成 Skill 或复用文档生成 Skill。
- 累积标注数据后训练专用漆面损伤检测模型。