
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
VLLM-0.7.2中文配置参数
参数对照针对vllm0.7.2版本做的中文翻译对照,参数由模型自动翻译,可能存在不准确情况,使用时仔细甄别,我只用了一部分参数。
vllm多卡部署开源模型(二)
继续上一篇【先说一下使用时的一些问题,我截取了一些并发响应。
vllm多卡部署开源模型(一)
背景:最近准备私有化一个语言模型,在问题理解,意图分析,数据组合等业务上,进行更好的理解,记录一下过程。【未完待续,吃饭中。4. embedding模型。5. rerank模型。

langchain 0.2【2024-06-23】安装及连接本地llama3模型
langchain 0.2版本 llama3 本地知识库

langchain对neo4j的使用
通过langchain组件生成图谱。本文是延续上一篇文章【】以下所有路径,命令都是基于这篇内容设置的。
langchain 0.2【2024-06-23】安装及连接本地llama3模型
langchain 0.2版本 llama3 本地知识库

VLLM-0.7.2中文配置参数
参数对照针对vllm0.7.2版本做的中文翻译对照,参数由模型自动翻译,可能存在不准确情况,使用时仔细甄别,我只用了一部分参数。
到底了







