本文介绍了三种大模型微调方法：全参数微调、LoRA和QLoRA。全参数微调调整所有参数，性能好但显存占用高；LoRA通过低秩分解冻结原参数，仅训练旁路低秩矩阵，显存需求大幅降低；QLoRA在LoRA基础上引入4bit量化技术，进一步减少显存占用。文章详细解释了LoRA的配置参数、QLoRA的NF4量化原理和双重量化技术，并介绍了分页优化器应对内存峰值的方法。三种方法各有优劣，全参数微调适合高性能需

本文记录了在AutoDL云服务器上搭建Neo4j图数据库的完整过程。作者详细介绍了从安装Java环境、下载对应版本的Neo4j安装包，到配置远程连接和内存参数的完整步骤。重点分享了在Linux系统下的配置技巧，包括环境变量设置、配置文件修改、端口开放等关键操作，并提供了解决Windows本地连接云服务器Neo4j的具体方法。文章最后提到完成环境配置后即可开始编写代码，并给出了连接Neo4j的URL

学的这个课程强化学习的数学原理_中国大学MOOC(慕课)算是强化学习里面很火的课程了(ﾟ∀ﾟ)老师的讲义和书都是英文的，可以看看啊，词汇都不难，主要是理解一些专业词汇recap: a trajectory is a state-action-reward chain, it can be infinite. Therefore, we can introduce a discount rate,

本文介绍了三种大模型微调方法：全参数微调、LoRA和QLoRA。全参数微调调整所有参数，性能好但显存占用高；LoRA通过低秩分解冻结原参数，仅训练旁路低秩矩阵，显存需求大幅降低；QLoRA在LoRA基础上引入4bit量化技术，进一步减少显存占用。文章详细解释了LoRA的配置参数、QLoRA的NF4量化原理和双重量化技术，并介绍了分页优化器应对内存峰值的方法。三种方法各有优劣，全参数微调适合高性能需

BGELandmarkEmbedding提出了一种无需文本切分的嵌入方法，通过三个创新点实现高效检索：1）使用特殊landmark标记捕捉句子语义，结合滑动窗口处理任意长度文本；2）采用position-aware目标函数，强调文本边界信息；3）设计多阶段学习算法，结合远程监督、弱监督和微调优化训练。配套提出的Chunking-Free检索方法通过ConstrainedSentencePrefix

ZeroQuant系列研究大模型高效量化技术，包括权重和激活的细粒度量化方案、层次知识蒸馏算法（LKD）及优化后端系统。相比传统QAT方法，PTQ无需重新训练，实现更简单但精度可能下降。针对量化误差问题，提出分组量化和分token量化策略，并通过核融合技术降低计算开销。LKD方法突破传统KD限制，实现逐层量化优化，无需原始训练数据和完整教师模型，显著降低内存需求。该系列研究为大模型部署提供了高效的

上次在知乎上看到一个回答说，虽然现在大模型很火，但是传统的一些NLP方法仍然是有效的，因为传统的方法速度快，精度也没有很差，而且具有可解释性，在真实的工作中用处很大。：输入层、隐含层、输出层（Hierarchical Softmax），输入都是多个经向量表示的单词，输出都是一个特定的target，隐含层都是对多个词向量的叠加平均。其中，<表示前缀，>表示后缀。于是，我们可以用这些trigram来表

本文介绍了两种大模型量化技术：LLM.int8()和SmoothQuant。LLM.int8()通过混合精度分解处理异常值，将推理内存减半并保持精度，适用于175B参数以下的模型推理。SmoothQuant则将量化难点从激活值转移到权重，实现全矩阵INT8量化，提升1.56倍速度并减少2倍内存。两种方法都有效解决了大模型量化中的异常值问题，但各有侧重：LLM.int8()侧重推理优化，Smooth

本文记录了在AutoDL云服务器上搭建Neo4j图数据库的完整过程。作者详细介绍了从安装Java环境、下载对应版本的Neo4j安装包，到配置远程连接和内存参数的完整步骤。重点分享了在Linux系统下的配置技巧，包括环境变量设置、配置文件修改、端口开放等关键操作，并提供了解决Windows本地连接云服务器Neo4j的具体方法。文章最后提到完成环境配置后即可开始编写代码，并给出了连接Neo4j的URL

本文探讨了三种基于大语言模型(LLM)的零样本文档重排方法。pointwise方法通过优化提示词ρ*来最大化查询生成概率，采用判别器引导的条件生成策略；listwise方法利用滑动窗口技术处理长文档列表，逐步提升相关文档排名；pairwise方法(PRP)通过输入顺序变换确保排序稳定性，当两次结果矛盾时视文档得分相同。这些方法均无需训练数据，通过精心设计的提示策略有效提升了LLM在信息检索任务中的