
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
llm的部署及调用(基于transformers、vllm、fastapi部署、awq量化)
本文介绍了大模型环境配置与部署的完整流程。首先通过pip配置清华源并安装modelscope、vllm和fastapi等工具。接着详细说明了两种模型下载方式:通过modelscope的Python脚本或命令行下载。重点讲解了vllm的两种部署方案:直接使用Python脚本调用模型,或启动OpenAI API服务后通过客户端调用。后者支持更丰富的参数配置,包括并行计算、量化、显存优化等高级选项。文章
使用腾讯云COS+Picgo设置Obsidian图床(2024.12.12)
本笔记记录了笔者2024.12.11-2024.12.12期间使用Obsidian+Picgo+gitee/github/腾讯云COS的心酸路程。笔者是纯小白,仅供参考。笔者的情况是,大部分笔记存留在本地,但最近想发一些学习笔记,本地图片对于发布到CSDN来说不太友好,故考虑一个小规模的图床。
obsidian同步:win、ipad和android(2024.12可行)
目前使用infinicloud进行win、ipad、安卓三端同步。
关于edge浏览器在使用vpn后无法搜索的解决办法
参考 https://blog.csdn.net/qq_66707762/article/details/133817147。
到底了







