先说结论

处理一堆脏数据时,我现在更愿意先把模型能力、上下文和执行条件给足,而不是自己坐下来设计分类。尤其是大量杂乱文档的整理,真正困难的地方不是改几个标题、挪几个位置,而是要先理解所有内容,再判断它们应该怎样组织、哪些信息互相关联。

过去总觉得整理数据是简单劳动,用便宜模型就可以。实际效果不好,又以为问题在于自己没有先把结构设计清楚。现在重新想,这个判断可能一开始就错了:不是所有整理工作都适合用低成本模型做。数据越脏、越缺少明确规则,越可能需要更强的推理能力。

整理脏数据,不要吝啬模型算力和 Token|个人IP官网横版封面

我曾经把整理文档当成简单任务

最近整理自己的 ChatGPT Space 资料库时,面对一大堆杂乱文档,常常不知道从哪里下手。文档多了,不只是内容需要修改,还涉及分类、归属、关联关系,以及不同资料应该如何一起维护。

我之前的想法很简单:让 AI 去做这些整理工作,应该不难,所以没有必要在模型和 Token 上花太多成本。结果整理出来的效果不理想。后来甚至开始反思,是不是应该先由自己确定整个目录架构,让 AI 按照人的分类去执行。

这个思路看起来很稳妥,却忽略了另一个可能性:如果交给 AI 的本来就是一件复杂的理解任务,我却一直用低配置的方式去做,那么问题未必出在分类方法上。

脏数据最难的部分,恰恰是还没有规则

一份结构化、格式统一的数据,字段是什么意思、怎样归类、需要转换成什么样,往往都很明确。这样的工作交给脚本或者便宜模型就能处理,甚至不一定需要大模型。

但杂乱文档不是这样。它们可能来自不同时间、不同项目,表达方式不一致;有的内容是在记录过去的决定,有的是目前正在执行的规则,还有的只是一个没有展开的想法。AI 需要先判断每份材料是什么,再综合其他材料理解它的用途。

也就是说,干净数据通常是在执行规则;脏数据可能需要先发现规则、建立结构,再执行规则。后者看上去像整理杂物,实际上包含不少理解和推理。

以前恰恰在这种不确定性最高的地方节省模型能力,整理不好以后,又用自己的时间去弥补。

分类架构也可以交给 AI

这次更重要的想法变化,是不再默认由人来设计分类架构。既然准备把资料库交给 AI 维护,那么目录应该怎么分、文档放在哪里、哪些内容应该关联,本来就可以是 AI 的工作。

人的输入可以很简单:这是一套什么资料,要整理到什么程度,哪些历史内容必须保留,最后希望怎样查找和使用。至于逐份阅读、提出分类、调整目录、建立链接、检查遗漏和冲突,都让 AI 去做。

我不需要一开始就看完所有文章,也不需要先替 AI 画好一张思维导图。等它整理出结果,再按需要检查结构和效果。结构仍然重要,只是设计和维护结构这件事,不必天然归人负责。

别把省 Token 变成多花自己的时间

如果一个便宜模型需要反复提示、返工,最后还要人工检查大量内容,它的调用费用虽然低,整个任务未必便宜。

反过来,强模型在混乱资料的理解、归类和关系判断上,如果能够减少返工和人工介入,那么更高的 Token 成本反而可能是划算的。这里衡量的不是单次调用价格,而是从接收资料到整理完成,究竟花了多少资源和人的精力。

这也意味着模型选择应该跟着任务变化。结构稳定、规则明确以后,再把批量修改、格式转换等重复工作交给低成本模型或脚本;在最混乱、最需要判断的初始阶段,不必急着省。

模型够强,还得真正读得到、改得动

当然,模型能力不是全部。即使用了最强的模型,如果只能看到一小部分文档、读不到关联资料,或者没有权限修改目录和链接,整理效果依然会受限制。

所以,我说的“把能力开到最大”,不只是切换模型,还包括让 AI 拿到完成任务所需的上下文、工具和权限。大量文档可以分批读、统一盘点,而不是受单次上下文容量限制,就误以为已经看全。

权限也不是毫无边界地允许破坏。像批量删除、覆盖原文这类可能造成损失的操作,应当有版本记录和可恢复的方式。让 AI 真正能干活,与保留必要的回滚能力并不矛盾。

别急着认定 AI 做不好

这次整理资料,让我修正的不是某一套目录结构,而是评估 AI 能力的方法。

当 AI 的工作结果不理想时,过去容易马上认为:这件事还是要由人来设计、判断、处理。现在更值得先检查的是:模型是不是太弱?上下文是不是不完整?工具和权限是不是限制了它?是不是为了省 Token,反而把问题弄得更复杂?

把资源开足不保证每次都能成功,但至少可以避免一个常见误判:拿低配置下的表现,去判断 AI 原本能做到什么程度。

尤其面对一堆脏乱、没有现成结构的资料,我更愿意先让足够强的 AI 把事情做明白。等数据整理好了,再谈怎样降低成本。

Logo

更多推荐