logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

开源大模型生产环境部署方案(二) 基于Qwen

本文介绍了Qwen开源大模型在阿里云ModelScope生态下的生产环境部署方案。该方案采用Kubernetes集群和KServe推理服务,支持从Qwen-1.8B到Qwen-Max全系列模型的部署,重点优化了AWQ量化、vLLM推理适配和中文RAG流程。部署架构包含WAF防护、API网关、向量数据库和监控系统,针对Qwen模型的trust_remote_code、MoE支持和中文分词等特性进行了

文章图片
#开源
开源大模型生产环境部署方案(一)

本文提出了一套开源大模型生产环境部署方案,涵盖从需求分析到运维保障的全流程。方案针对不同业务场景需求(如智能问答、内容生成等)提供模型选型建议,详细说明硬件资源配置和软件环境搭建要求。采用分层分布式架构设计,包括接入层、服务层、存储层和监控运维层,确保系统的高可用性和可扩展性。部署流程包含模型预处理、容器化打包、K8s集群部署等关键步骤,并提供了API接口封装示例。最后提出高可用保障和性能优化措施

文章图片
#开源
【Spring AI MCP】十一、SpringAI MCP 客户端注解

Spring AI MCP注解模块为Java开发者提供了基于注解的声明式编程模型,简化MCP服务器和客户端的开发。该模块包含服务器端和客户端两大核心部分:服务器端提供@McpTool、@McpResource等注解实现工具注册和资源访问;客户端通过@McpLogging、@McpSampling等注解处理服务器通知。支持同步和异步处理方式,提供McpSyncRequestContext等特殊参数类

文章图片
#spring#人工智能#java
【AI】Weaviate向量数据库详细部署安装应用

📌 Weaviate 部署与集成指南摘要 核心功能: 混合搜索(向量+关键词) 语义图谱关系 模块化AI流程 动态schema和多租户支持 部署方案: 单机Docker(开发首选) 支持OpenAI API或本地Embedding 提供详细docker-compose配置 Kubernetes集群(生产环境) Helm Chart部署 支持高可用和自动扩缩容 安全特性: 多种认证方式(API K

文章图片
#人工智能#数据库
Spring AI DocumentTransformer

在Spring AI中,DocumentTransformer是ETL(提取、转换、加载)框架的一个关键组件。ETL框架是数据处理中的核心,特别是在检索增强生成(Retrieval Augmented Generation, RAG)的应用场景中。DocumentTransformer在Spring AI中主要负责将文档从一种形式转换为另一种形式,以便更好地进行后续处理或分析。

文章图片
#spring#人工智能#原型模式
Spring AI 介绍

Spring AI 是 Spring 生态系统推出的面向人工智能工程的应用框架,旨在将 Spring 的设计原则(如可移植性、模块化)引入 AI 领域,为 Java 开发者提供便捷的 AI 集成方案。其核心特点包括生态融合、跨模型支持、提示工程、嵌入技术、Advisor 拦截器机制和检索增强生成(RAG)。Spring AI 通过标准化接口、模块化设计和快速集成,降低了 Java 开发者使用 AI

文章图片
#spring#人工智能#java
Spring AI QuestionAnswerAdvisor

Spring AI中的QuestionAnswerAdvisor是一个重要的组件,它实现了RAG(Retrieval-Augmented Generation,检索增强生成)的功能。

文章图片
#spring#人工智能#数据库
【Spring AI MCP】十二、SpringAI MCP 服务端注解

Spring AI MCP注解模块为Java开发者提供了基于注解的MCP协议实现方案,包含服务器端和客户端两大部分。服务器端提供@McpTool、@McpResource、@McpPrompt和@McpComplete注解,简化了MCP功能开发;客户端则通过@McpLogging等注解处理各类通知。模块支持同步/异步请求上下文、特殊参数注入等高级特性,显著减少了样板代码,提高了开发效率。通过声明式

文章图片
#spring#python#java
【Spring AI MCP】十、SpringAI MCP 安全(Security)

Spring AI MCP安全模块为开发者提供了基于OAuth 2.0和API密钥的安全解决方案,保护MCP服务器和客户端的通信安全。该社区驱动项目包含三大核心组件:服务器安全、客户端安全和授权服务器,支持细粒度的访问控制。开发者可以配置OAuth 2.0资源服务器,通过注解实现方法级安全控制,并从安全上下文中获取认证信息。该模块目前仅兼容Spring AI 1.1.x版本,属于社区项目,尚未获得

文章图片
#spring#人工智能#安全
【Spring AI MCP】九、 MCP 安全(Security)

MCP协议为LLM调用外部能力提供安全边界,采用能力(Capability)而非传统权限模型进行访问控制,确保LLM仅作为"建议者"而服务端作为"决策者"。其安全机制包括:1)工具注册即授权,能力与身份绑定;2)进程级隔离或语言级沙箱执行环境;3)三重授权检查(存在性、模式合规性、上下文策略);4)输入输出过滤与审计日志。核心原则是所有安全判断必须在可信的服

文章图片
#spring#人工智能#安全
    共 65 条
  • 1
  • 2
  • 3
  • 7
  • 请选择