
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
安装vllm
uv创建基于Python 3.11的虚拟环境,参考。查看版本对应关系,下载12.1对应的whl包,包,因为vllm项目默认为没有该包。开始安装whl包,然后安装。
安装vllm
uv创建基于Python 3.11的虚拟环境,参考。查看版本对应关系,下载12.1对应的whl包,包,因为vllm项目默认为没有该包。开始安装whl包,然后安装。
ubuntu 22.04配置cuda和cudnn
安装补充包,动态加载和卸载 NVIDIA 内核模块。
Typora接入LLM
重启Typora,选中文字,右键→常用插件→二级插件→使用LLM补全。回答内容会自动出现在下一行,自行选择保存那个版本。,修改为自己的版本。这里是阿里云百炼版本。在大佬项目的基础上编写LLM插件。安装好typora插件。
到底了







