本文介绍了在AutoDL算力云平台上通过优化显存管理技术，成功在7GB显存下运行DeepSeek-R170B大模型的过程。通过降低模型精度至bfloat16，显存需求减少50%，再通过INT4对称量化，模型体积压缩至原始尺寸的25%（140G→35G）。结合vLLM PageAttention显存管理引擎，显存碎片率降低80%以上，并启用GPU-CPU交换空间，进一步降低显存需求。最终，在单机单卡

通过@RestControllerAdvice定义全局异常处理类System.out.println("熔断异常全局处理");return "熔断异常全局处理";System.out.println("超时异常全局处理");System.out.println("隔板异常全局处理");System.out.println("限流异常全局处理");return "限流异常全局处理";@Service

大模型LLMs基于Langchain+FAISS+Ollama/Deepseek/Qwen/OpenAI的RAG检索方法以及优化

异常发现我们创建的项目为maven项目，我们需要执行命令：maven clean，出现的：“Plugin org.apache.maven.plugins:maven-clean-plugin:3.0.0 or one of its dependencies could not be resolved”异常异常展示[ERROR] Plugin org.apache.maven.plugins:ma

触发在docker-maven-plugin插件里面的生命周期配置，也就是executions里面中phase为install的execution配置，本文配置的是在install环境下执行goal为”stop、remove、build、start“也就是在maven install时系统会自动并依次为我们执行 docker stop、docker remove、docker build、dock

构建RAG混合开发---通过PythonAI加载大模型以及RAG知识库，结合Java访问Python与Vue.js前端的实践交互案例

利用docker-compose安装canal并利用rabbitmq进行mysql的数据同步问题...

基于Jenkins+Docker-compose+Dockerfile+Gitee实现的自动化编译+部署实战案例

jenkins+docker+gitee实现容器自动化部署...

写在前文本文是我自己经过实践记录的，环境搭建简单快速，适合于前期学习（如果想深入了解Kafka、Redis、MySQL集群同步等相关知识本文不适用）。使用canal同步有两种方案，一种是使用canal原始的tcp方式，一种是使用canal+kafka类型；Canal原理Canal的服务端伪装成MySQL的从服务器，订阅MySQL的主服务器的binlog日志，实现增量同步数据，保持最终一...