这一点倒是没事，但是我的 client 端始终访问不到 localhost 的 8040 端口。我一开始可以把代码中的 localhost 改成我的绝对地址(返回的) 是这一用的，但我不知道是为啥，hhh。今天想起来我好像设置了代理，呵呵呵。但是我这个直接啥都没返回？把这俩取消之后，在执行。：把代理关了再试一次（

Function Call 是“模型自己会用的工具”，MCP 是“让模型安全、标准地连接万物的协议”。两者不是替代关系，而是互补：Function Call 快速直接，MCP 通用强大。

备注：“causal”在这里指因果mask/先后约束，不是因果推断（Causal Inference）里的“因果关系”。CAUSAL_LM 指“因果语言模型”，更常见的说法是“自回归语言模型”。

CUDA 11 引入了 CUDA Graphs（图执行模型），这个参数控制如何追踪 CUDA Graph 的行为。这样可以看到每个 graph node 的详细执行、调度信息，对调优 CUDA Graph 性能有帮助。node 表示以节点粒度跟踪 CUDA Graph，而不是更粗的 graph 粒度。有时候参数写错了，但是为同一个名字，则开启这个，覆盖原来的文件。通过打桩，记录哪部分跑了什么。

只做TP：一个大矩阵A分片，每卡存一部分，所有卡并行计算同一个层的不同块。只做EP：不同专家分在不同卡组，每次只激活部分专家（部分卡），每卡负责自己的整个专家。同时做TP+EP：每个专家都很大也被切分，每专家内部再做TP，卡既属于某专家又负责专家内部的一部分参数。这样就可以把超大模型、海量专家的训练与推理分布在很多卡上，既保证了大容量也能高效利用硬件！

这里是我的测试脚本，你看看你的请求头里的模型名字/路径改对了吗。启动server的时候写的是相对路径，这里写成绝对路径了。我的 server 启动指令。就很奇怪，不都是直接访问。哦，原来是模型路径填错了。

如今最先进的模型能够跨文本、图像、音频和视频进行推理，并使用多样化的架构生成异构输出。我们正在积极开发对更多架构的支持，并邀请社区帮助塑造 vLLM-Omni 的未来。我们的路线图侧重于扩展模型支持，并将高效推理的界限推得更远，同时构建合适的框架来赋能未来对全模态模型的研究。抽象，我们提供了一种简单直接的方式来支持各种全模态模型，包括 Qwen-Omni、Qwen-Image 和其他最先进的模型。

曾几何时，玩起了树莓派，乱买装备，浪费不少钱，都是点开某宝，搜索XXX，点击销量，第一个，然后下单，太愣了。本文为像我一样的摄像头小白提供一些简单的介绍，祝诸位好运！

.

安装飞桨Paddlepaddle出现ExternalError:Cuda error(38), no CUDA-capable device is detected.[Advise: This indicates that no CUDA-capable devices were detected by the installed CUDA driver. ] at (D:\1.8.3\paddl