从手边的资料开始
一份业务文档、一段 Agent 对话,或者一段清晰的任务说明,都可以成为数据工作的起点。ShuJian Cube 是我们开源的数据集生成平台,希望让团队更容易组织这些材料,并查看生成过程。
开始之前,先写下这批数据要解决的问题。比如,让模型理解一种领域表达,学会回答一类问题,或区分两种回答中哪一种更符合要求。这个目标会影响后续材料与样例的选择。
先明确学习目标
平台围绕 CPT、SFT 和 DPO 组织生成任务。CPT 面向领域材料,SFT 通过示例表达期望的回答方式,DPO 则通过偏好对比表达选择标准。
它们对应不同的学习目标。准备材料时,可以把“需要知道的知识”“需要完成的任务”和“回答的选择标准”分别写清楚,再决定这一批数据从哪里开始。
把审核放进流程里
ShuJian Cube 的工作路径从资料输入、任务规划延伸到生成、审核与分享。团队可以查看进度,并在分享数据集合前检查示例。
阅读样例时,既要看表达是否自然,也要回到来源确认事实与语境。一个流畅的答案仍可能遗漏条件,或把不确定的内容写成确定结论。人工审核应关注这些细节。
让每条示例都能回答两个问题:它来自哪里,它要教会模型什么。
在开放的工作流里迭代
我们把项目开源,让数据生成流程可以被查看、讨论和改进。你可以从项目说明开始了解输入类型、学习目标与工作路径,再按自己的任务尝试一小批数据。
项目功能说明以仓库当前文档为准。这篇笔记依据公开 README 与平台界面整理。


