从零开始在全新 A800 机器上部署 vLLM + Qwen2-VL-8B-Instruct 视觉语言模型。

架构设计模式已成为程序员的重要技能。然而，当我们转向大模型应用领域，情况可能会有所不同。面对新兴技术，比如：AI 大模型 Agent，我们尚缺乏成熟的设计模式来支撑这些解决方案。根据我多年的架构设计经验，我在这里整理总结了一些针对大模型 Agent 应用的设计方法和架构模式，试图应对和解决大模型 Agent 应用实现中的一些挑战，比如：成本问题、延迟问题以及生成的幻觉等问题。

CUDA 12.1（工具包可选，PyTorch wheel 已含 CUDA Runtime）注意：VL 模型体积很大（权重+视觉编码器），确保磁盘 > 200GB，网络稳定。方式 A：Hugging Face（建议配镜像）启动 API Server（OpenAI 兼容）多卡环境变量（仅用 0–3 四张 A800）方式 B：ModelScope（魔搭）启动脚本（OpenAI 兼容 API）Pytho

自然语言处理，即实现人机间自然语言通信，或实现自然语言理解和自然语言生成是十分困难的。造成困难的根本原因是自然语言文本和对话的各个层次上广泛存在的各种各样的歧义性或多义性（ambiguity）。一个中文文本从形式上看是由汉字（包括标点符号等）组成的一个字符串。由字可组成词，由词可组成词组，由词组可组成句子，进而由一些句子组成段、节、章、篇。无论在上述的各种层次：字（符）、词、词组、句子、段，……还

三种注释方式  行注释、块注释、方法或类说明注释。一、快捷键：Ctrl + /  使用Ctrl+ /， 添加行注释，再次使用，去掉行注释块注释一、快捷键：Ctrl +Shift+ /  使用 Ctrl+Shift+ /， 添加块注释，再次使用，去掉块注释；注意：如果已经写好代码块，使用块注释需要先选中要注释的块；去除注释的时候，不需要全部选中这块代码，只用光标在注释内容上按Ctrl+Shift+/

创建文件夹报错 手动创建summary\piece文件夹就可以了或者改成绝对路径

项目目录 右键 -> TortoiseSVN -> Revert，在弹出的 对话框中，选择 对应的已删除目录及其子目录，点击确定，即可。在本地项目删除了一个目录，又通过SVN的“Repo-browser ”方式删除了SVN服务器端对应的目录；再提交时，就会提示该错误。

CUDA 12.1（工具包可选，PyTorch wheel 已含 CUDA Runtime）注意：VL 模型体积很大（权重+视觉编码器），确保磁盘 > 200GB，网络稳定。方式 A：Hugging Face（建议配镜像）启动 API Server（OpenAI 兼容）多卡环境变量（仅用 0–3 四张 A800）方式 B：ModelScope（魔搭）启动脚本（OpenAI 兼容 API）Pytho

创建文件夹报错 手动创建summary\piece文件夹就可以了或者改成绝对路径

因为在Windows系统中，只有压缩后的空间紧贴在C盘的右侧才能进行合并，但是我们从其他盘压缩的空间又在该盘的右边，也就是说我从E盘压缩的空间就紧靠在E盘的右边，系统默认是无法进行合并的，我们只能依靠第三方软件。打开DiskGenius之后，我们右键单击C盘，然后点击“扩容分区”，软件会默认选择我们刚刚压缩处出来的空间，然后后面一路点确定即可，要注意的是，这里系统需要重启进入PE环境之后再重启进入