
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文详细介绍了在个人开发者环境下,使用 **vLLM + Docker** 部署 **Qwen3.5-9B-INT8 量化多模态大模型** 的完整流程。文章从模型选型出发,分析了 INT8 量化版本的显存优势(仅需 8-10GB),并逐步讲解了 GPU 环境检查、数据盘永久挂载(开机自动挂载)、vLLM 容器化部署等核心操作,提供了完整的 docker run 启动命令及参数详解。同时,针对部署过
本文详细介绍了在个人开发者环境下,使用 **vLLM + Docker** 部署 **Qwen3.5-9B-INT8 量化多模态大模型** 的完整流程。文章从模型选型出发,分析了 INT8 量化版本的显存优势(仅需 8-10GB),并逐步讲解了 GPU 环境检查、数据盘永久挂载(开机自动挂载)、vLLM 容器化部署等核心操作,提供了完整的 docker run 启动命令及参数详解。同时,针对部署过
今天,我带你梳理了常见的 CPU 性能优化思路和优化方法。发现性能问题后,不要急于动手优化,而要先找出最重要的、可以获得最大性能提升的问题,然后再从应用程序和系统两个方面入手优化。这样不仅可以获得最大的性能提升,而且很可能不需要优化其他问题,就已经满足了性能要求。但是记住,一定要忍住“把 CPU 性能优化到极致”的冲动,因为 CPU 并不是唯一的性能因素。在后续的文章中,我还会介绍更多的性能问题,

本文带你从零开始,用最短路径跑通 Dify + DeepSeek 大模型,完成一个能正确回答“三国演义的作者是谁”的对话应用。整个流程成本很低,10~20 元就能玩很久。
Dify 是当下 AI 领域有名的开源项目之一,帮助用户快速构建和部署基于大语言模型的应用程序。平台采用模块化设计,集成RAG引擎、AI工作流编排和Agent构建功能,支持PDF/PPT等多格式文档处理及向量数据库对接,支持通过阿里云容器服务ACK实现生产级高可用部署。用户可通过可视化界面搭建复杂工作流,并实现生产级部署。
专栏的正文内容已经结束了,将近五个月的学习,给你留下了怎样的故事呢?本期同样放送用户故事,我们邀请到了几个活跃的工程师同学,让他们讲出自己的学习故事,分享自己的学习心得。

nginx 配置了https协议,导致web 项目的http请求无法完成。定位问题是 request.getScheme() 得到的是http. 需要改成https
课程到这里,终于要结束了。在去年年底和极客时间定下要写这门课程的时候,我并没有想到AI会在过去几个月里掀起怎样一阵滔天巨浪。忽然之间,似乎AIGC和大语言模型变成了一个人人都可以参与讨论的话题。连我年近七十的父母昨天晚上也来问我怎么才能用上ChatGPT,让我一时都有些恍惚。上一次,人人都关心的技术产品,大概还是需要排队才能买到的iPhone。

上一讲里,我们通过Whisper模型,让AI“听懂”了我们在说什么。我们可以利用这个能力,让AI替我们听播客、做小结。不过,这只是我们和AI的单向沟通。那我们能不能更进一步,让AI不仅能“听懂”我们说的话,通过ChatGPT去回答我们问的问题,最后还能让AI把这些内容合成为语音,“说”给我们听呢?当然可以,这也是我们这一讲的主题,我会带你一起来让AI说话。和上一讲一样,我不仅会教你如何使用云端AP

过去几讲里,我们一起为AI加上了语音能力。而且相对于大语言模型,语音识别和语音合成都有完全可以用于商业应用的开源模型。事实上,Huggingface的火爆离不开他们开源的这个Transformers库。这个开源库里有数万个我们可以直接调用的模型。很多场景下,这个开源模型已经足够我们使用了。不过,在使用这些开源模型的过程中,你会发现大部分模型都需要一块不错的显卡。而如果回到我们更早使用过的开源大语言








