logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

记录一次基于spring boot3.x 的透明代理实践(代理转发dify0.15.3工作室)

本文介绍了针对Dify 0.15.3版本安全问题的解决方案。通过将Dify部署在内网作为核心服务,业务系统作为外网接口层,实现了权限控制与业务逻辑的分离。核心方案采用基于ProxyServlet.java的透明代理机制,并针对SpringBoot 3.0进行了适配改造。文章详细阐述了代理配置、路由映射、请求过滤等关键组件的实现方法,包括配置文件设置、动态路由解析、资源请求拦截等。同时提供了Ngin

#spring#spring boot#servlet
【支持帕斯卡pascal架构的vllm】分享一个支持pascal架构(算力6.0-6.1左右)n卡(p104-100、p100、p40之类老款显卡/计算卡)的vllm项目

环境是:x99寨板,双路E5-2683 v4 ,64g内存,256固态硬盘,2t移动机械硬盘,四卡p104-100,单卡8g显存,ubuntu 22.04 server, 启动成功后内存仅剩 34g,每张卡显存占用 7226/8192。速度在10tokens/s到20tokens/s之间,时快时慢,不过比ollama只能10tokens/s要好多了,也能利用vllm优势并发。本文同时发布于cnbl

#python
【支持帕斯卡pascal架构的vllm】分享一个支持pascal架构(算力6.0-6.1左右)n卡(p104-100、p100、p40之类老款显卡/计算卡)的vllm项目

环境是:x99寨板,双路E5-2683 v4 ,64g内存,256固态硬盘,2t移动机械硬盘,四卡p104-100,单卡8g显存,ubuntu 22.04 server, 启动成功后内存仅剩 34g,每张卡显存占用 7226/8192。速度在10tokens/s到20tokens/s之间,时快时慢,不过比ollama只能10tokens/s要好多了,也能利用vllm优势并发。本文同时发布于cnbl

#python
到底了