转载地址：项目实操：KBQA常规实现流程与医疗知识图谱问答源码解读"看了文章，不会的还是不会，还是直接实操、直白一点好"这其实是一种对当前碎片化阅读带来的知识获得感不足的直接表现。而且，这也确实是最直接的知识需求。因此，作为“理论与实践相结合”一贯理念的延续，更多实践，本文主要围绕《KG项目实操：KBQA标准实现流程与医疗知识图谱问答源码解读》，结合具体项目，讲讲知识图谱问答。与可视化落地一样，知

本篇博文主要比较目前常用的Sentence Embedding方法，包括双塔模型SBERT，对比学习SimCSE、ConSERT、ESimCSE，这里谈谈论文里的细节，以及本人在中文语料（Chinese-SNLI、Chinese-STS-B）复现后的结果。部分方法在半年前已复现过,但最近研究了sentence_transformers库的源码，发现竟然提供了对比学习的损失函数，在此基础上做二次开发

公司做个大模型助手，需要提取用户query中的人名、公司名和产品名称来进行问答。目前我使用的是bert+crf模型 开源cluer数据+自造的数据，训练数据18w，测试数据1.3w。目前这个方案有些瓶颈，主要表现如下：1、产品名称识别错误 有的时候会把产品名称识别很长2、产品名称简称识别不了，比如招白，这块数据训练集里面是没有的，训练集里面的产品名称是基金全称、基金简称、以及基金代码加上目前都是用

嵌入模型对于成功的RAG应用至关重要，但它们通常基于通用知识进行训练，这限制了它们在公司或特定领域应用的有效性。Matryoshka表示学习（MRL）是一种旨在创建可以在不显著降低性能的情况下被截断到各种维度的嵌入的技术。这种方法将重要信息前置加载到嵌入的早期维度中，从而在保持高准确度的同时实现下游任务（如检索、分类和聚类）的高效存储和处理。在这篇博客中，我们将向您展示如何使用2023_10 NV

训练一个7B参数的大模型，显存需求大约为120-144 GB。实际需求可能因实现和硬件不同而有所变化。使用来训练模型可以显著减少显存占用，因为 BF16 每个参数仅占用2 字节（16 位），而不是 FP32 的 4 字节。使用BF16训练一个 7B 参数的大模型，显存需求大约为88-106 GB。相比 FP32 的 120-144 GB，BF16 可以节省约 25-30% 的显存。

在这篇博客中，我们探索了向量嵌入的复杂世界，从传统的稀疏和密集形式到创新的学习稀疏嵌入。我们还研究了两个机器学习模型——BGE-M3和Splade——以及它们如何工作以生成学习到的稀疏嵌入。使用这些复杂嵌入来细化搜索和检索系统的可能性，为开发直观且响应迅速的平台开辟了新的可能性。请继续关注未来的帖子，展示这些技术的实际应用和案例研究，展示它们对信息检索标准的影响，承诺重新定义信息检索标准。

一、Wide & Deep模型Wide & Deep Learning 模型的核心思想是结合广义线性模型的记忆能力（memorization）和深度前馈神经网络模型的泛化能力（generalization）。利用广义线性模型从历史数据中学习特征相关性，利用深度前馈神经网络揭示隐式特征之间的相互作用。在训练过程中同时优化 2 个模型的参数，从而达到整体模型的预测能力最优。Wide & Deep模型结

在我们的迷你R1实验中，我们使用了GRPO，并采用了两个基于规则的奖励，但已经需要大量的计算资源：4块H100 GPU运行6小时，才能完成一个30亿参数模型的450个训练步骤。在这个阶段，DeepSeek-R1-Zero（DeepSeek-R1的首次测试）学会了在没有任何人类反馈或描述如何进行操作的数据的情况下，通过重新评估其初始方法，为问题分配更多的思考时间。模型开始学习一种新的“格式”，它以类

1.IKAnalyzer2.中科院ICTCLAS3.FudanNLP4.The Stanford Natural LanguageProcessing Group4.1 Stanford CoreNLP4.2 Stanford Word Segmenter4.3 Stanford POS Tagger4.4 Stanford Named Entity Recognize

🤗 Transformers 还支持使用 Trainer API 来训练，其在 PyTorch 中提供功能完整的训练接口，甚至不需要自己编写训练的代码。第一种选择是设置张量并行，它将模型中的张量拆分到多个 GPU 上并行运算，你需要将 tensor-model-parallel-size 参数更改为所需的 GPU 数量。你可以使用如下所示配置模型架构和训练参数，或将其放入你将运行的 bash 脚