登录社区云，与社区用户共同成长
邀请您加入社区
本文详细对比了GPT和BERT两大NLP基石模型：GPT作为单向解码器擅长文本生成，适用于创作、对话等场景；BERT作为双向编码器擅长文本理解，适用于分类、问答等任务。两者虽基于Transformer架构，但核心设计与应用场景根本不同。文章还介绍了结合两者优势的RAG技术，强调BERT在AI协作中仍是不可或缺的"基石"模型。
一、Bert 模型BERT 模型的全称是 BidirectionalEncoder Representations from Transformer，基于 Transformer 的双向编码器表示，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的 masked language model（MLM），以致能生成
机器学习&&深度学习——BERT（来自transformer的双向编码器表示）
