摸了几天Java开发大模型应用相关框架,赶脚langchain4j,spring-ai-alibaba都比较好用。学习参考官方的examples示例项目及相关文档就会玩了,这些项目结构差不多,每个子项目一般都是一个核心特性的helloword,可单独跑起来。

1、langchain4j,Java版的langchain

中文文档
langchain4j-examples

2、spring-ai-alibaba

官方文档
spring-ai-alibaba-examples

一些tips

  • 1、后端大模型可以使用qwen系列,需要阿里百炼平台申请一个api-key;或本地vLLM/SGLang/Ollama部署一个qewen/deepseek等小点的模型。
  • 2、spring-boot-example/src/main/resources/application.properties 当配置使用本地部署的大模型时候,
    langchain4j.open-ai.chat-model.api-key也得配置,空值就行,否则langchain4j-spring-boot-starter 不会自动装配chatModel对象
  • 3、langchain支持结构化输出,为什么还需要SGLang?
维度 LangChain SGlang
实现方式 后验解析 + 重试 前摄生成约束(实时引导)
是否需要重试 经常需要 几乎不需要
对不支持 function calling 的模型有效吗? 效果差 完全支持
输出可靠性 可能失败(尤其小模型) 几乎 100% 合法
延迟 & 成本 高(多次调用) 低(一次生成)
适用模型 依赖模型能力 通用,任何 LLM
开发体验 简单,但需处理异常 需学习 SGlang 语法,但结果更稳
4、如何准确理解MCP
Logo

更多推荐