周末看到知乎的一个问题，有点意思，值得NLPer思考，选取几个回答，欢迎留言。

---

问题：ChatGPT的诞生意味着模型大一统的可行性，这会对未来5年的NLP算法从业者带来怎样的冲击？

我个人从ChatGPT上看到了很多可能性，也对未来职业生涯更加悲观，或许纳米酱说得对，薅资本主义羊毛，攒够几百万回家考公务员才是正道。

链接：https://www.zhihu.com/question/575391861

---

作者：张俊林
链接：https://www.zhihu.com/question/575391861/answer/2832979762
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

一言以蔽之：对于NLP研究人员，前景非常不乐观。

ChatGPT这种Instruct based方法，能取得如此惊艳的效果，是出乎很多人意料的，当然，我个人认为它能力的强大，主要还要归因到背后依托的GPT 3.5太强了，这体现了模型规模的魔力。而这意味着很多目前独立存在的NLP研究领域，将被纳入LLM的技术体系，进而不再独立存在，逐步消失。

目前大多数NLP子领域，仍然是以独立研究领域存在的，比如“机器翻译”、“文本摘要”、“QA系统“等，只是切换成在“预训练+fine-tuning／few shot prompting”框架下，面对领域独有问题，陆续提出新的改进方案。目前研究表明，很多NLP任务，随着LLM模型规模增长，效果会大幅提升。据此，我觉得也许我们可以得到如下推论：大多数某领域所谓“独有”的问题，大概率只是缺乏领域知识导致的一种外在表象，只要领域知识足够多，这个所谓领域独有的问题，就可以被很好地解决掉，其实并不需要专门针对某个具体领域问题，冥思苦想去提出专用解决方案。也许事实的真相超乎意料地简单：你只要把这个领域更多的数据交给LLM，让它自己学习更多知识即可。

在这个背景下，未来的技术发展趋势应该是：追求规模越来越大的LLM模型，通过增加预训练数据的多样性，来涵盖越来越多的领域，LLM自主从领域数据中通过预训练过程学习领域知识，随着模型规模不断增大，很多问题随之得到解决。研究重心会投入到如何构建这个理想LLM模型，而非去解决某个领域的具体问题。这样，越来越多NLP的子领域会被纳入LLM的技术体系，进而逐步消失。

我认为，判断某个具体领域是否该立即停止独立研究，其判断标准可采取以下两种方法，占其一即可：第一，判断某个任务，是否LLM的研究效果超过人类表现，对于那些LLM效果超过人类的研究领域，已无独立研究的必要。举个例子，GLUE与SuperGLUE测试集合里的很多任务，目前LLM效果已超过人类表现，与这个数据集合密切相关的研究领域，其实就没有继续独立存在的必要。第二，对比两种模式的任务效果，第一种模式是用较大的领域专用数据进行Fine-tuning，第二种是few-shot prompting或instruct-based方法。如果第二种方法效果达到或超过第一种方法，则意味着这个领域没有继续独立存在的必要性。如果用这个标准来看，其实很多研究领域，目前fine-tuning效果还是占优的（因为这种模式领域训练数据量大），看似还可独立存在。但是考虑到很多任务随着模型规模增大，few shot prompting／instruct效果持续增长，随着更大模型的出现，这个拐点很可能短期就会达到。

如果上述猜测成立，将意味着如下残酷事实：对于很多NLP领域的研究人员，将面临往何处去的选择，是继续做领域独有问题呢？还是放弃这种看似前途不大的方式，转而去建设更好的LLM？如果选择转向去建设LLM，又有哪些机构有能力、有条件去做这个事情呢？我们很多人可能早晚要面对这些问题，并给出自己的选择。

当然，我个人表示情绪稳定，对我基本没啥影响，因为在T5出现之后，我就知道自己已经没有能力做LLM这个事情了。

---

作者：郑楚杰
链接：https://www.zhihu.com/question/575391861/answer/2833726655
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

1. 对于 R&D 可能影响不大，毕竟做的事一直都是 follow 国际大厂的前沿工作，他们出什么就跟进什么就好了

2. 对于垂直领域的  可能会产生较大冲击。当 LMaaS 普遍后，竞品都基于同样的基础模型，能力下限大大提升，行业门槛大大下降。仅存的护城河就是里的数据积累（但效用会随着 LLM 变得更强而下降）

3. 对于 NLP 研究者（包括 AI Lab、高校研究室）、特别是垂直领域可能冲击最大。通用 LLM 方法让垂直领域的细分/长尾问题上的 incremental improvement 很难再有大的价值和影响力，你费老大劲都只能缓解的问题可以被 LLM 直接解决

由于我自己还在读博，关于 3 可能感受更深，再说两句

以往国内学术界/工业界对于 LLM 的传统认知是「计算开销大、生成慢、落地难，过于 magic」，即使到现在这也是「LLM 没有未来」的一个主要论据。但我们需要注意到几方面事实：

1. OpenAI 提供的 LMaaS 服务（toB 和 toC）已经具备很高的速度（很低的 latency)，并构成了行之有效的盈利模式

2. 2022 年的大量前沿研究都在探索和拓展 LLM 的极限和边界，这进一步促进了 1

3. 2 中的这些研究都是出自国际大厂，国内几乎已经缺席了 LLM 的前沿研究

4. 由于实力的不对等，OpenAI、Google、DeepMind 等 LLM 头部玩家可能不再会公开最前沿的 LLM 研究进展（转为挤牙膏模式）

以上事实意味着：当国际大厂用上了更低成本、更好性能的 LLM 技术使其落地时（尤其是极富潜力的生产力场景），国内可能还在认为 LLM 落地难而止步不前，而这仅仅是因为前者没有公开技术或指明可能性。换而言之，等 GPT-4 出来后，国内的专家们可能又会说「大模型落地难，实际应用还得靠中小模型」，但「OpenAI 的大模型成本或许比你的中小模型还要低」，更不用说 OpenAI 的中小模型（如 6B~13B）的性能已经远超一众超大模型（如 130B~175B）。在这一趋势下，国内与国际前沿的技术鸿沟会越来越大，甚至无法追赶

那么对于研究人员来说，如何判断自己研究的问题在 LLM 时代下还有没有价值？

@张俊林

的回答其实说得已经很好了。我个人认为最核心的两个依据是：

1. 这个问题是否是通用领域问题？如 LLM 的可解释性、训练与提示技巧、模型压缩和加速

2. 这个问题是否会被 scaling 解决？如果  可以解决，或者方法带来的提升随着 scaling 而减小，那么研究的价值和影响力可能就会极为有限。如果对学术/技术影响力有更高的追求，在资源和条件允许的情况下，则应该转向通用领域的问题开展研究

---

作者：潘浩杰
链接：https://www.zhihu.com/question/575391861/answer/2833613607
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

我倒是看到了新的希望，如果是纯做NLP中台（而不是直接做搜索广告等）现在在业界本就是锦上添花的角色，且一些中台服务如机器翻译等基本趋近饱和。

但LLM在国外如火如荼，Model as a Service 在国内也越来越重视。新的范式会引起新的变革，对业内从业者而言就可以有新的事情可以尝试。

我认为最受冲击的可能是思维还停留在deep learning for nlp时代的，或者BERT for everything时代的，新的浪潮下转弯不够快就很容易落伍。比如我17-18年做chatbot的时候，都是seq2seq+pgn生成出来一堆跟上下文无关、缺乏多样性、刷blue和rouge指标的没有意义的response，其后几年脑海里都是“文本生成不可信任，nlp唯一killer application只有翻译，新的工作不就是xxx”，现在跟很多小同学交流才发现自己才工作两年多就已经慢慢落后了。

另假如对NLP有更深的信仰，希望能有更拟真的对话AI的同学而言，就更是利好信息了。

---

作者：多头注意力
链接：https://www.zhihu.com/question/575391861/answer/2833012173
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

题主用了冲击一词，应该认为影响比较负面。我倒是认为不一定，特别是应用端，以下是几点想法：

1. 大模型再牛也需要调包侠写代码。模型应用到业务还是有很多工作需要做的。评论区有朋友说直接调用API只需要开发同学就行了，没错，【调用】这个动作确实很容易，但chatgpt 并不是个像查天气，查邮编这样确定性的api，prompt 的设计，结果的校验都是需要不少工作的。

2. 技术有突破有利于行业繁荣，特别是在一个比较短的时间内（题主问五年内）。参考2013年后卷积神经网络带来的行业热潮和2017年后预训练语言模型带来的行业热潮。

3. 从业者的工作方式肯定会改变。重要的是跟上趋势，不要抱着原来的技术和方法不放。这个情况也不是没有经历过，词向量时代大家花大量时间减少OOV ，bert 出来后几乎没人关心这个了。当时bert 出来大家也感叹以后炼丹容易了，会冲击行业，但实际结果并没有。如果在现在一个nlp 工程师还不会使用预训练语言模型，那可能对他的职业发展确实是有【冲击】。

4. 工具的进步是会释放创意潜力的，所谓学以致用，可以多思考怎么用。

至于研究者，比较认可

@张俊林

的回答，影响会大一些。

一起交流

想和你一起学习进步！『NewBeeNLP』目前已经建立了多个不同方向交流群（机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等），名额有限，赶紧添加下方微信加入一起讨论交流吧！（注意一定o要备注信息才能通过）