文章目录各种优化器SGD，AdaGrad，Adam，LBFGS都做了什么？1. SGD：2. SGD+Momentum：3. NAG（Nesterov Accelerated Gradient ）：4. AdaGrad（Adaptive Gradient Algorithm）：5. AdaDelta：6. RMSProp：7. Adam：8. [AdaMax](https://arxiv.org/

用一个简单的例子，说明NLP中情感分析的经典模型（Bi-LSTM + Attention），具体可见GitHub：https://github.com/SoulDGXu/Sentiment-Analysis-Chinese-pytorch

推理性能提升了42%：基于 Multi-Query Attention 技术，ChatGLM2-6B有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。在主要评估LLM模型中文能力的 C-Eval 榜单中，截至6月25日 ChatGLM2 模型以 71.1 的分数位居榜首，超越GPT-4，而最新

当地时间4月18日，Meta 官宣发布其最新开源大模型 Llama 3。目前，Llama 3 已经开放了 80亿 和 700亿 两个小参数版本，上下文窗口为8K。未来还有4000亿参数版本，支持多模态、超长上下文、多国语言！

目前支持长上下文的开源大模型已经有支持65K的 MPT-7B-storyteller 和32K的ChatGLM2-6B，闭源大模型比如 Claude-100K and GPT-4-32K，但LMSYS Org的研究人员还是选择通过测试来印证它们是「李鬼」还是「李逵」。6月29日，来自LMSYS Org的研究人员发布了两个支持16k token上下文长度的开源大模型LongChat-7B和LongC

截止发文，最新版本：torch 2.0.0，torchvision 0.15.1。截止发文，最新版本：torch 2.0.0，torchtext 0.15.1。截止发文，最新版本：torch 2.0.0，torchaudio 2.0.1。

文章目录1. Phrases 和Phraser2. Word2Vec3. KeyedVector词向量保存的各种数据格式词向量用处参考gensim API1. Phrases 和Phrasergensim.models.phrases.Phrases 和gensim.models.phrases.Phraser的用处是从句子中自动检测常用的短语表达，N-gram多元词组。Phrases模型可以构建

中文预训练模型下载原版：https://huggingface.co/modelsGoogle原版bert：https://github.com/google-research/bert中文XLNET预训练模型：https://github.com/ymcui/Chinese-XLNet （只有TensorFlow需转化） or https://huggingface.co/hfl/chinese

环境：python 3.6anacoda 4win 764位下载计算机安装graphviz:Windows版本下载网址：https://graphviz.gitlab.io/_pages/Download/Download_windows.htmlmsi版本安装方便，不容易出错。按照默认路径C:\Program Files (x86)安装，一直Next安装完成。再将安装路径...

2023 年，聊天机器人领域似乎只剩下两个阵营：「OpenAI 的 ChatGPT」和「其他」。再加上前段时间 GPT-4 的发布，ChatGPT 也有了更强大的推理和多模态能力，OpenAI 几乎不可能将其开源。然而，表现欠佳的「其他」阵营却一直在做开源方面的努力。本文总结了目前业界开源且适合中文的类ChatGPT项目。