训练用的数据，先说清楚从哪来
算力和接口之外，做模型还缺一样东西：能放心拿来训练的数据。启枢智能计划提供用于训练大模型的各类语料，并配上评测、微调与落地这些服务 AI 基础研究与产业化的能力。这两条线都在规划中；现在能用的，是下面这个语料体检工具。
语料体检：训练之前，先看一眼这份数据
把 JSONL、JSON 数组或纯文本拖进来，立刻知道有多少条、大约多少词元、多少重复、多少过短、多少行解析不了、有多少处疑似个人信息。内容只在你的浏览器里处理，不上传。
语料体检 本页可用
支持 .jsonl、.json（数组）、.txt；.csv 与 .tsv 按纯文本逐行统计，表头会算作一条。单个文件不超过 64 MB。
体检结果
—
还没有数据。点“载入示例数据”看一份故意带毛病的样例：10 行里有 1 行坏 JSON，解析出的 9 条里有 1 条重复、1 条过短、1 条带手机号与邮箱、两种字段结构。
长度分布（条数，按估算词元分档）
算法：每条记录取出其中全部字符串拼成正文（role 字段不计）。估算词元 = 汉字数 × 0.7 +（其余字符数 ÷ 4），是粗估，实际以所用分词器为准。完全重复按“压缩空白后的正文”比对。过短指正文去掉空白后不足 10 个字符。疑似个人信息只按三种格式匹配：大陆手机号、邮箱地址、18 位身份证号。
局限：体检只查格式层面的问题，查不出内容对不对、有没有偏见、是否获得授权。近似重复（改了几个字的那种）不在统计内；字段顺序不同但内容相同的两条记录也不算重复。
打算提供哪些训练语料
下面四项都是设计目标，尚未开放。我们给自己定的入库条件只有一条：来源和许可说得清。
| 能力 | 做什么 | 状态 |
|---|---|---|
| 预训练语料 | 多领域文本语料，按来源、许可与清洗等级分包交付。 | 规划中 |
| 指令与对话数据 | 用于微调与对齐的指令、问答与多轮对话数据，附构造方法说明。 | 规划中 |
| 领域语料定制 | 按行业或学科定向采集、清洗与标注，交付时附数据说明书。 | 规划中 |
| 来源与授权台账 | 每一包语料都能查到来源、许可条款与处理步骤；说不清来源的不入库。 | 规划中 |
收什么
公开许可允许训练使用的数据，取得权利人授权的数据，合作方自有并同意使用的数据。
不收什么
来源说不清的抓取数据，许可条款禁止训练或商用的数据，未脱敏的个人信息。
交付时附什么
按设计，每一包附一份数据说明书：来源、许可、采集时间、清洗步骤、已知缺陷与体检结果。
服务基础研究与产业化的配套能力
有了算力、接口和数据，还要有把它们串起来的工具。下面四项同样是设计目标。
| 能力 | 做什么 | 状态 |
|---|---|---|
| 模型评测 | 固定题集与可复现脚本，给出同一把尺子下的对比结果。 | 规划中 |
| 微调与蒸馏流水线 | 从语料到可部署模型的一条流水线，跑在租用的算力上。 | 规划中 |
| 实验追踪与复现 | 记录每次训练的数据版本、参数与结果，换人也能复跑。 | 规划中 |
| 落地支持 | 从原型到上线的工程支持：压测、成本测算与部署方案。 | 规划中 |