54 lines
2.1 KiB
Markdown
54 lines
2.1 KiB
Markdown
---
|
||
name: damage-grounding
|
||
description: 汽车旧伤视觉定位标注。用于 damage_grounding 能力：读取 damage-detector 生成的 workspace/damages.json，对每处损伤在时间窗口内调用豆包 grounding 获取 0-1000 bbox，并在图片上绘制红色标注框，输出 workspace/grounding.json 和 marked_frames；前置条件是已有 taskId 和 damages.json。
|
||
license: MIT
|
||
metadata:
|
||
version: "1.0.0"
|
||
category: vehicle-inspection
|
||
skillType: compute-entry
|
||
aliases: ["damage_grounding"]
|
||
tags: ["vehicle", "grounding", "bbox", "doubao", "旧伤定位", "标注"]
|
||
---
|
||
|
||
# 旧伤视觉定位标注
|
||
|
||
前置条件：已完成 `video-frame-extractor` 和 `damage-detector`，workspace 中存在 `damages.json`。
|
||
|
||
```json
|
||
{
|
||
"name": "damage-grounding",
|
||
"input": {
|
||
"taskId": "order_10001",
|
||
"groundingWindow": 2
|
||
}
|
||
}
|
||
```
|
||
|
||
## 工作流程
|
||
|
||
1. 读取 `damages.json` 的损伤列表和 `video_info.json` 的帧列表。
|
||
2. 对每处损伤选择 `timeSecond ± groundingWindow` 秒内的帧。
|
||
3. 固定使用豆包/火山方舟模型进行 grounding，解析 `<bbox>x1 y1 x2 y2</bbox>`。
|
||
4. 将 0-1000 归一化 bbox 转成像素坐标，在图片上绘制红色标注框。
|
||
5. 写入 `workspace/grounding.json` 和 `marked_frames/`。
|
||
|
||
## 输入
|
||
|
||
- `taskId`: 必填。
|
||
- `groundingWindow`: 可选，默认 `2` 秒。
|
||
- `groundingResults`: 可选，外部豆包 grounding 结果；传入后本技能只解析 bbox 并画框。
|
||
|
||
## 输出
|
||
|
||
返回 `totalDamages` 和 `totalMarked`。
|
||
|
||
## 重要约束
|
||
|
||
- 需要 Node.js 18+。
|
||
- 共享 workspace 根目录优先读取 `VEHICLE_SCRATCH_WORKSPACE_ROOT`，其次兼容 `RZYX_AI_WORKSPACE_ROOT`，否则使用 `RZYX_AI_DATA_DIR/workspace/vehicle-scratch-inspection`。
|
||
- 本技能固定用于豆包 grounding；其他模型可用于检测，但 grounding 阶段按豆包输出格式解析。
|
||
- bbox 坐标是 0-1000 归一化坐标，最终同时保存 normalized 和 pixel 两种坐标。
|
||
- 标注优先使用 `sharp`，未安装时回退 `ffmpeg drawbox`；两者都不可用时生成 SVG 标注占位，保证 `grounding.json` 仍可被后续报告读取。
|
||
- 不使用百度 OCR API。
|
||
- 用中文回答所有内容。
|