【预训练语言模型】SpanBERT: Improving Pre-training by Representing and Predicting Spans （2020ACL）  陈丹琦团队的一篇改进BERT预训练任务的工作，扩展了BERT预训练语言模型：不像BERT只MASK单独的一个token，而是随机MASK掉连续的序列（ contiguous random span）；训练span bou

Pytorch使用LSTM实现Movie Review数据集情感分析  入门Pytorch一周时间，周六试着手写情感分类代码。学过Tensorflow的都知道，其需先生成计算图，还得通过placeholder喂入数据，十分的麻烦，也不容易调试，而pytorch真心是简单上手，最开心的就是Tensorflow不能随时打印中间结果，而Pytorch完美实现了~~啰嗦两句，很建议大家先学习tensor.

人类的认知通常具备一定的自我调节（self-regulation）和策略制定（strategization）的能力，对于解决一个复杂问题时，可以很自然地运用工作记忆（working memory）将任务相关的决策动作（actions）与思考推理（reasoning）相结合。虽然现如今诸如Chain-of-Thought（CoT）通过上下文提示的形式可以提高大语言模型step-by-step的推理能

【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion核心要点：知识图谱是不全的，先前的补全方法只是考虑稀疏的结构信息，忽略了上下文的文本信息；将实体、关系和三元组是为序列，并将知识图谱补全的任务视作序列分类任务；简要信息：序号属性值1模型名称MT-DNN2发表位置ACL 20193所属领域自然语言处理、预训练语言模型4研究内容预训练语言模型、多

在本篇文章中，我们首先通过一篇早期工作讨论了忠实度和真实度的含义是什么。然后，我们综述了评估文本摘要忠实度/真实度/一致性的各种方法。可以看到不管是对于不同任务还是不同评价维度，较为普遍的趋势是趋向于大而统一：更大的元评估实验设定、更多的预训练、更大的模型、更统一的视角，等等等等。当下，GPT-4的出色表现引起热议，但是似乎构建更可控、可解释、鲁棒的文本生成指标仍然是一个开放问题，还有很长的路要走

主要介绍Anthropic LLM大模型

主要介绍FLAN大模型

论文解读：FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based On DAE-Decoder Paradigm简要信息：序号属性值1模型名称FASPell2所属领域自然语言处理3研究内容中文拼写纠错4核心内容图表征，语言模型5GitHub源码https://github.com/iqiyi/FASPell6

Improving Language Undersstanding by Generative Pre-Training（GPT）  前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文将讲解现如今预训练模型——GPT，该模式是较早的使用Transformer模型进行预训练的方法，其特点是单向

虽然现如今大模型展现出无与伦比的表现，但是其在工具理解和使用方面依然存在不足，即根据用户的指令和意图来使用外部API。这是因为现有的指令微调任务大多数是基于语言任务，而忽略了工具的调用指令。因此，本文希望为开源的大模型探索一个可以使用工具的模型，并提出TooLLM。