采购前读一读
数据标注选型与采购指南
这份指南写给准备把标注工作外包的算法团队。多数返工与扯皮并非出在生产端手艺不行,而是出在需求没讲清楚、计价方式选错、验收指标无法量化。下面按决策顺序讲六个问题,读完你应当能判断自己的任务适合哪种做法。
一、先判断任务类型,再谈其他
标注任务按精细度大致分三档:矩形框最粗也最快,适合检测模型的常规训练;分割沿轮廓逐点描绘,单件工时数倍于框选,只在边界精度真正影响模型表现时才值得用;点云与时序任务依赖空间或时间连续性,规则复杂度最高,试标环节不可省略。常见误区是“一刀切上分割”——预算翻倍,模型收益却未必同步。判断标准很简单:看模型指标瓶颈在哪里,如果是类别分不清,先查规则和类别表;如果是定位不准,才考虑提高标注精细度。
二、计价方式怎么选
按张计价适合规则统一、每张工作量接近的任务;按框计价适合目标数量波动大的场景,能自动反映工作量差异;按工时计价适合规则频繁变化或需要人工判断较多的任务。两种坑值得警惕:一是纯按张计价但单张目标数量悬殊,供应商会挑肥拣瘦;二是约定了笼统的“打包价”却没有验收指标,交付质量无法约束。稳妥的做法是让试标说话——用真实数据核定单件工时,再折算单价并写进合同。
| 维度 | 矩形框标注 | 语义分割 | 点云 / 时序 |
|---|---|---|---|
| 单件工时 | 低(秒级到分钟级) | 中到高 | 高 |
| 规则复杂度 | 低,边界情形较少 | 中,轮廓口径需细定 | 高,跨帧跨点规则多 |
| 常见计价 | 按张 / 按框 | 按件或按工时 | 按工时或按帧 |
| 试标必要性 | 建议 | 必要 | 必要且耗时更长 |
| 典型交付 | COCO / VOC JSON | 掩码 / 多边形文件 | 按帧组织的标注文件 |
三、规则文档值得花时间
规则文档是整个项目的宪法。它不必华丽,但必须逐条可勾选:遮挡超过多少算截断、相似类别怎么区分、边缘压线的框算不算命中。编写时最有效的办法是拿二十张最难的真实样例,逐张过一遍规则,把每个“看情况”都逼成明确选项。规则版本要冻结:任何修改走变更流程并通知全员,否则第一批数据和最后一批数据会悄悄变成两套口径,训练时表现为莫名其妙的指标波动。
四、验收指标必须可量化
“质量要好”不是验收标准。可执行的指标长这样:类别准确率不低于某个数值、框与人工基准的交并比不低于某个阈值、标签命名与类别表完全一致、抽检比例与不合格处理方式白纸黑字。验收时按约定比例随机抽样,抽检不合格整批返修。另一侧的配套是缺陷分类——把缺陷分成漏标、错类、属性缺失、边界不贴合几类统计,哪类缺陷集中出现,就先修规则再返修,而不是盲目打回。
五、数据安全与格式对接
把数据交给外部团队前,确认三件事:保密协议是否覆盖全部数据形态;作业环境是否受控(账号权限隔离、禁止个人存储设备);敏感数据能否在指定平台或内网完成作业。格式方面,先把训练管线的输入要求写成一份格式说明交给供应方,交付时要求附带文件清单与格式说明文档,最好先交一小批接入训练脚本验证,再接收全量——格式返工的代价远高于标注本身。
六、把试标当作立项判断
试标的价值远超“看看质量”:它能暴露规则漏洞、校准工时预估、检验双方沟通是否顺畅。试标样例要从真实数据里挑,包含典型样本和边界样本;试标结果要逐条比对而不是只看整体感觉。试标通过后,规则、单价、周期、验收指标都应落进合同附件。到这里,项目的多数风险已经被前置解决。如果你正在评估具体任务,可以先浏览我们的服务项目,或直接发起一轮需求评审;更多疑问见常见问题详解。