大模型数据

北栀之夏

31人浏览 · 2026-11-08 03:48:35

北栀之夏 · 2026-11-08 03:48:35 发布

data scaling是与模型性能高度相关的东西

1.预训练数据来源

网页数据过滤掉重复内容

代码数据，增强模型的推理能力

书籍数据，比较格式化

2.关于scaling law

model scaling 放大模型参数量

compute scaling 放大算力

data scaling 放大数据token量

3.真实数据和合成数据

4.目前很多基模组进去就是在做数据，但当未来几年人类数据探索得差不多，数据自动化标注等做得非常好的时候，RSI也可以的时候，我们做什么呢

5.当模型数据量增长的时候，通用模型能力也在上涨。我们做领域模型的意义就在于领域模型被通用模型追上的这段时间之前的Cost和这段时间的Reward之间的关系

6.目前RSI还不能改大范围的参数，那样尝试范围太大，只能单点尝试（虽然可能非最优解），但是遍历对于算力要求太高，目前很难实现

北京朝阳AI社区

更多推荐

MCP 面试高频考点：提示注入诱导 Tool 执行高风险操作，你能答到第几层？

面试场景某企业把内部运维平台接入了 MCP：Host 是一个对话式助手，通过 Streamable HTTP 连接一个远程 MCP Server，Server 暴露了 query logs 、 read file 、 execute sq。

北京朝阳AI社区

1万亿参数全开源，Mistral Large 4又降了编码Agent门槛

万亿参数全开源，真正的意义不是"分数追平闭源"，而是编码 Agent 的成本下限被重写。当私有化部署的 48% 遇上按 token 计费的更高分，企业会用钱包投票。开源模型每往前一步，"上不了云的代码"就多一个选择。注：数据来自 Artificial Analysis 指数与公开报道；1T 参数与训练细节以 Mistral 官方发布为准。