大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有1750亿个参数，而Grok-1更是不得了，有3140亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量，而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”，越多就能让模型更聪明，更能理解数据中那些错综复杂的关系。有了这些“脑细胞”，模型在处理任务

最近RAG热度不减，微软开源了GraphRAG，很是火爆呀，本着学习的态度，我也部署使用了一下，无奈没有梯子，不能用openAI，于是想着能不能使用本机的模型，替换openAI的 llm和embedding模型，说干就干，整个过程真是曲折，踩坑不少，但最终 结果还是好的，终于完美部署到本机使用了，哈哈，下面来给大家分享一下，自己也记录一下，以免后边再使用时重复进坑。

论文地址: [1803.08669] Pyramid Stereo Matching Network (arxiv.org)代码地址: JiaRenChang/PSMNet: Pyramid Stereo Matching Network (CVPR2018) (github.com)3D感知任务相比于2D感知任务的情况更为复杂，而相比于单目相机双目相机的感知能力拥有以下几个特点:而双目相机是如何

这两个训练功能，EMA 和混合训练，常常被其他的开源框架所忽略，因为它们并不会妨碍训练的进行。然而，根据 InstructGPT，EMA 通常比传统的最终训练模型提供更好的响应质量，而混合训练可以帮助模型保持预训练基准解决能力。因此，我们为用户提供这些功能，以便充分获得 InstructGPT 中描述的训练体验，并争取更高的模型质量。DeepSpees正如它官网介绍的一样，它为深度学习模型提供了一

CUDA Driver API 显卡驱动, 驱动API 也是当前驱动支持的最高CUDA版本，就是平时你看电影打游戏的时候装的驱动，这里是越高越好。装完了可以确认下是不是自动配置了环境变量,打开终端输入下面bash指令，就可以看到加入了，那就欧了，如果没有加可以自己配置下新的环境变量就可以了。虽然我的torch.cuda是ture,但是在编译的时候用的主还是CUDA所以这里编译的时候就报错了。， 不

项目地址: Xorbitsai/inference正如同Xorbits Inference（Xinference）官网介绍是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits I

今天在想创建一个新的环境于是乎打开终端执行了一波接下来就给来了一大波报错。。。看着令人发出。