NLP、大语言模型LLM、思维链、CoT

NLP语言模型、大模型LLM、In-Context Learning(ICL)

一、需要安装的环境① JDK。本人安装的是1.8版本，安装过程略，网上可搜索anzhuang教程。② MAVEN。本人安装的是3.3.3。③ IDEA。版本是2016.3以后的版本。二、创建基于scala语言的spark项目①创建新项目（FILE -> NEW -> PROJECT）②左边栏选择Maven，点击红圈内容，Next

FAQ智能问答系统。实现FAQ的问题-模板匹配功能。部署轻量级的Web服务应用。

NLP语言模型、大模型LLM、In-Context Learning(ICL)

通用NER框架

介绍了微软Deepspeed大模型训练并行框架

基本信息基于Pytorch的文本分类框架。同时支持中英文的数据集的文本分类任务。项目地址：text_classifier_pytorch支持的模型非预训练类模型：FastTextTextCNNTextRNNTextRCNNTransformer预训练类模型BertAlbertRobertaDistilbertElectraXLNet支持的训练方式支持中英文语料训练支持中英文的文本分类任务。支持多种

NLP语言模型、大模型LLM、In-Context Learning(ICL)

Pretrain_Bert_with_MaskLMInfo使用Mask LM预训练任务来预训练Bert模型。基于pytorch框架，训练关于垂直领域语料的预训练语言模型，目的是提升下游任务的表现。Pretraining TaskMask Language Model，简称Mask LM，即基于Mask机制的预训练语言模型。同时支持 原生的MaskLM任务和Whole Words Masking任务