前言BP(back propagation)神经网络1. 什么是人工神经网络？首先给出一个经典的定义：“神经网络是由具有适应性的简单单元组成的广泛并行互连网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应”[Kohonen, 1988]。这种说法虽然很经典，但是对于初学者并不是很友好。比如我在刚开始学习的时候就把人工神经网络想象地很高端，以至于很长一段时间都不能理解为什么神经网络能够

ImageNet是一个超过15 million的图像数据集，大约有22,000类。是由李飞飞团队从2007年开始，耗费大量人力，通过各种方式（网络抓取，人工标注，亚马逊众包平台）收集制作而成，它作为论文在CVPR-2009发布。当时人们还很怀疑通过更多数据就能改进算法的看法。深度学习发展起来有几个关键的因素，一个就是庞大的数据（比如说ImageNet），一个是GPU的出现。（还有更优的深度模...

1. 引言什么是Self-attention, Muti-attention和Transformer2. 数据预处理mdb影评的数据集介绍与下载下载后执行下面预处理代码，把每个词都转化为索引。import os as osimport numpy as npsave_dir = './data'import tensorflow.keras as kerasdef get_data(datapat

LeNet5LeNet5不是CNN的起点，但却是它的hello world，让大家看到了卷积神经网络商用的前景。AlexNet是CNN向大规模商用打响的第一枪，夺得ImageNet 2012年分类冠军，宣告神经网络的王者归来。VGG以其简单的结构，在提出的若干年内在各大计算机视觉领域都成为了最广泛使用的benchmark。它们都有着简单而又优雅的结构，同出一门。诠释了增加深度是如何提高了深度...

规划(Planing)子目标和分解（Subgoal and decomposition）：代理将大型任务分解为更小的、可管理的子目标，从而能够有效地处理复杂的任务。反思和完善（Reflection and refinement）：智能体可以对过去的行为进行自我批评和自我反思，从错误中吸取教训，并针对未来的步骤进行完善，从而提高最终结果的质量。记忆 (Memory)短期记忆（Short-term m

模型遗忘，也称灾难性遗忘，是指模型在进行新任务的训练时，之前学到的知识迅速丢失。尤其是在大模型微调场景中，模型往往从大规模通用预训练迁移到特定领域数据或任务，由于数据分布差异较大，模型容易“忘记”预训练时学到的丰富知识。模型遗忘是大语言模型微调过程中不可避免的挑战，但通过合理的策略与技术组合，可以有效缓解甚至避免遗忘问题。未来随着微调技术和架构的不断进步，我们有望实现既能快速适应新任务，又能稳固保

提前设计架构、控制入口流量、解耦核心流程、缓存热点数据、优化数据结构、监控运行状态。掌握这六大核心手段，能让你的系统稳如老狗，扛得住打，撑得起业务高峰。

BLEU：计算 n-gram（短语）匹配度，偏重精准度，常用于翻译、复述任务ROUGE：偏重召回率，评估生成文本覆盖了参考文本多少关键信息，适合摘要、问答微调大语言模型是一个复杂且细致的工程，合理的评估方案是确保模型质量的保障。训练阶段关注 Loss 和 Perplexity，微调后结合任务指标和人工评估，才能真正打造符合业务需求的优质模型。

从和等大型语言模型 (LLM) 的最新进展中可以看出，在技术行业引起了很大的关注。这些模型对内容生成非常强大，但它们也有一些缺点，例如偏差和幻象。LLM在聊天机器人开发方面特别有用。

最近突然想做一个基于自己的知识库（knowlegebase）的chatbot或者FAQ的项目。未来如果可以在公司用chatgpt或者gpt3.5之后的模型的话，还可以利用gpt强大的语言理解力和搜索出来的用户问题的相关业务文档来回答用户在业务中的问题。