logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

VLLM-0.7.2中文配置参数

参数对照针对vllm0.7.2版本做的中文翻译对照,参数由模型自动翻译,可能存在不准确情况,使用时仔细甄别,我只用了一部分参数。

#python#服务发现#人工智能
vllm多卡部署开源模型(二)

继续上一篇【先说一下使用时的一些问题,我截取了一些并发响应。

#pytorch#python#AIGC
vllm多卡部署开源模型(一)

背景:最近准备私有化一个语言模型,在问题理解,意图分析,数据组合等业务上,进行更好的理解,记录一下过程。【未完待续,吃饭中。4. embedding模型。5. rerank模型。

文章图片
#python#AIGC
langchain对neo4j的使用

通过langchain组件生成图谱。本文是延续上一篇文章【】以下所有路径,命令都是基于这篇内容设置的。

#neo4j
VLLM-0.7.2中文配置参数

参数对照针对vllm0.7.2版本做的中文翻译对照,参数由模型自动翻译,可能存在不准确情况,使用时仔细甄别,我只用了一部分参数。

#python#服务发现#人工智能
到底了