logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

开源项目吐槽大会:Ollama 让本地大模型变简单了,但这几个坑你得先知道

改完之后要意识到:Ollama 的 API 默认没有任何鉴权措施,任何人只要能连上这个端口,就能调用你的模型、拉取和删除模型。如果你的场景真的需要高并发,Ollama 不是为这个设计的,它更像一个“个人工作站工具”,而不是“生产级推理服务”。你跟模型聊着聊着,它突然“失忆”,开始答非所问,很可能不是模型不行,是上下文窗口满了。有独显和没独显,是两个世界:有独显时对话流畅,没独显、纯 CPU 推理时

#开源#AIGC
IT疑难杂症诊疗室:服务明明在跑,客户端却连不上?一份按图索骥的排查清单

链路中间某台设备的 MTU 更小,又禁了 ICMP 的“需要分片”报文,发送方不知道要分片,大包就被悄悄丢弃。链路是分层的——进程、监听地址、本地防火墙、操作系统、局域网、云厂商安全组、公网入口,问题一定在其中某一层。可能是监听地址、协议不匹配(比如服务只开了 IPv6,客户端走 IPv4),或者服务虽然起了但还没初始化完、拒绝连接。ping 不通:网络层就不通,可能是服务器禁 ping(很多云主

#网络#服务器#linux
到底了