logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GPU 大模型部署:vLLM部署Qwen3-8B + BGE 自定义服务版

掌柜智库BGE-M3和部署在同一台机器上Qwen3-8B通过 vLLM 部署在另一台机器上业务项目通过 HTTP 远程调用三个模型服务​目前gpu服务器下载的BGE-M3只是一堆参数文件,不可执行,也不可远程调用。必须用本地程序把参数文件变成可执行的内存对象,然后再发布为网络http服务,才可以被其他应用远程调用。

文章图片
PyCharm安装教程

①下载访问 JetBrains 中国官网(),根据操作系统选择合适版本下载。(注:自 2025 年底起,JetBrains 已取消社区版与旗舰版之分,统一为 IntelliJ IDEA。②安装双击安装程序,按提示点击“下一步”。选择安装目录,勾选“创建桌面快捷方式”,继续点击“下一步”。点击“安装”,等待安装完成。安装结束后,选择“跳过导入配置”(Skip Import),完成安装。

文章图片
#pycharm#ide#python
TIOBE 编程语言排行榜

TIOBE 7月编程语言排行榜显示:Python虽以18.96%评分蝉联榜首,但同比下滑6.91%;C语言重回第二(10.77%),C++降至第三;Go跌幅最大(-1.08%至第13位),而Rust升至第12位。C#获2025年度语言奖,华为仓颉语言首次入榜(第201位)。历史数据显示,Python完成从2001年第26名到如今第一的逆袭,C语言则保持近40年前三的统治地位。该榜单反映语言流行度而

文章图片
MCP (Model Context Protocol)

本文介绍了MCP(Model Context Protocol)协议,这是一种标准化的工具集成协议,旨在解决AI应用开发中工具集成的碎片化问题。MCP通过定义统一的接口标准,使不同工具能够即插即用,类似于USB接口的标准化。文章详细解析了MCP的架构,包括Host、Client、Server三个角色及其交互流程,并介绍了MCP支持的三种能力:Tools(工具调用)、Resources(资源读取)和

文章图片
#MCP
大模型的知识局限——为什么你的模型需要外挂知识库

所有大模型都有训练数据截止日期。GPT‑4o 的知识截止在 2024 年初,DeepSeek‑V3 类似。这意味着:去年下半年新出的法规,模型不知道最新版本的框架文档,模型不知道你公司昨天上线的产品,模型不知道对大多数企业应用来说,“最新”恰恰是最重要的东西。

文章图片
LangChain4j 入门教程

组件类比核心职责ChatModel数据库连接和模型 API 通信的底层接口@AiServiceDAO 接口声明式定义 AI 能力,框架生成实现Tools服务方法给模型提供调用外部系统的能力ChatMemorySession管理多轮对话历史向量数据库存储和检索向量化的知识Agent业务服务组合所有组件,自主完成复杂任务。

文章图片
#java#开发语言
LangChain4j ChatMemory 实战

SystemMessage("你是一个 Java 技术助手,记住用户在对话中提到的技术栈和问题背景")

文章图片
#python#开发语言
LangChain4j 中@Tool 工具定义全解——参数类型、描述规范、执行流程

Component@Tool("查询指定城市的实时天气信息,包括温度、天气状况和风力")@P("城市名称,例如:北京、上海、广州") String city) {// 实际项目调用天气 API,这里用 Mock 数据演示return String.format("%s:晴天,温度18°C,风力2级", city);@Tool("查询未来几天的天气预报")@P("城市名称") String city

文章图片
#python#开发语言#spring
* LangChain4j 中的RAG 核心 API

组件入门方案升级方案文档加载器按需选用 FileSystem / Url 加载器文档解析器ApacheTika(默认)ApachePdfBoxDocumentParser(PDF专精)文档分割器默认递归分割(300字符)自定义递归分割(500字符,100重叠)向量模型内存版低维模型阿里云 text-embedding-v3向量数据库RedisSearch(数据持久化)

文章图片
* LangChain4j中的RAG知识库

RAG全称为 Retrieval Augmented Generation,翻译过来是检索增强生成,简单理解就是通过检索外部知识库的方式增强大模型的生成能力。正常情况下当用户把问题发送给AI应用,AI应用内部组织调用大模型的数据并发送给大模型,接下来大模型会根据接收到的数据生成结果并响应给AI应用,然后AI应用再把接收到的消息响应给用户。这是咱们目前程序的一个基本工作流程。

文章图片
#人工智能
    共 60 条
  • 1
  • 2
  • 3
  • 6
  • 请选择