logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

安装vllm

uv创建基于Python 3.11的虚拟环境,参考。查看版本对应关系,下载12.1对应的whl包,包,因为vllm项目默认为没有该包。开始安装whl包,然后安装。

安装vllm

uv创建基于Python 3.11的虚拟环境,参考。查看版本对应关系,下载12.1对应的whl包,包,因为vllm项目默认为没有该包。开始安装whl包,然后安装。

ubuntu 22.04配置cuda和cudnn

安装补充包,动态加载和卸载 NVIDIA 内核模块。

#ubuntu#linux
Typora接入LLM

重启Typora,选中文字,右键→常用插件→二级插件→使用LLM补全。回答内容会自动出现在下一行,自行选择保存那个版本。,修改为自己的版本。这里是阿里云百炼版本。在大佬项目的基础上编写LLM插件。安装好typora插件。

#学习方法
到底了