机器学习基础-GPU加速

介绍机器学习中各种优化算法

简要介绍目前大模型使用的各种技术和方法

用GPT-2生成文本

BERT以Transformer的Encoder为架构，已MLM为模型，在很多领域取得历史性的的突破。这里以Transformers上基于中文语料库上训练的预训练模型bert-base-chinese为模型，以BertForSequenceClassification为下游任务模型，在一个中文数据集上进行语句分类。具体包括如下内容： 使用BERT的分词库Tokenizer 可视化BERT注意力

使用Transformer来提升模型的性能最近几年，Transformer体系结构已成为自然语言处理任务的实际标准，但其在计算机视觉中的应用还受到限制。在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时将其整体结构保持在适当的位置。2020年10月22日，谷歌人工智能研究院发表一篇题为“An Image is Worth 16x16 Words: Transformers

用可视化的方法介绍GPT原理

ChatGPT简介