logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

如何为docker版本的neo4j安装apoc

APOC是neo4j经常使用的功能扩展包,langchain等LLM工具连接neo4j依赖apoc。这里尝试为docker 版本的neo4j安装apoc。

#neo4j
qwen3 attention架构的整理和学习

qwen3采用decoder-only transformer架构,模型核心由多个相同解码器层叠而成。这里通过网络资料,介绍qwen3模块和分析解码器,并尝试解释其背后的设计逻辑。

#人工智能#transformer
dify docker compose操作命令指南

假设目前已经位于项目dify docker配置目录,包含.env文件。比如以下示例中的dify,很多核心配置在.env中。以下是dify docker常用的操作指令。

#docker#容器#运维
如何通过OneAPI访问Ollama部署的大模型

使用openai接口访问其他大模型,需要大模型厂商提供openai兼容接口,往往面临不可用问题。OneAPI是LLM OpenAI接口的管理、分发系统,通过标准的OpenAI API访问所有的大模型。这里基于docker部署OneAPI和Ollama,然后尝试在OneAPI配置ollama模型,并运行测试程序。

#linux#服务器
FT和RAG如何选择

微调(Fine-Tuning)与检索增强生成(RAG)间的选择需匹配项目需求。RAG与LLM微调间的决策函数应综合考量:可用计算资源、领域适配需求、实时知识获取必要性及特定业务场景定制化层级等四维要素。微调过程需消耗大量算力,且依赖海量高质量数据集支撑。检索增强生成(RAG)将语言模型与检索系统结合,在推理过程中能调用适配的外部数据。该方法在需要持续更新或即时信息的任务中(如基于最新新闻源的问答系

#深度学习#人工智能
如何在程序中通过API访问SearXNG

探索SearxNG Search API:在LangChain中完美集成的指南。高效使用SearxNG Search API:实用指南与示例。1 安装langchain_community。假设SearXNG已经安装,具体过程参考。暂时没有结果,不确定问题原因。SearxNG 搜索。

#人工智能#docker
如何用OpenAI SDK调用Ollama LLM

的兼容端点,用户可以用OpenAI SDK访问本地Ollama模型,这里示例整个访问过程。Ollama目前内置了OpenAI。假设Ollama已安装,过程参考。OpenAI 兼容性。

#人工智能
dify docker知识库topk最大值参数配置

docker版本的dify,对应配置出现在.env中,路径为dify/docker/.env,详情参考如下文档。vim 打开.env文件,找到TOP_K_MAX_VALUE,将TOP_K_MAX_VALUE改为50,示例如下。比如topk,topk默认最大10,对语义模糊的检索,目标文档可能没进前10,出现在10-30区间。然后docker composer 重启容器,假设目前已经在dify/do

#docker#容器#运维
mac m1安装大模型工具vllm

在App Store更新macOS和XCoder,依据XCoder版本号安装command line tools。大部分情况git clone会失败,所以直接下载vllm的release版本,这里下载0.92,链接如下。参考vllm官网文档,vllm对apple m1平台mac os, xcoder, clang有如下要求。需注意的是以上操作要在mac自带终端下完成,在iterm下会遇到编译问题。

#macos
从架构角度对比gemma3 vs qwen3

gemma3和qwen3是当前最新最优秀的开源大模型,gemma3提供了1B、4B、12B、27B多个版本,其27B量化版支持在一个GPU部署,支持140多种语言。qwen3提供了4B, 8B, 14B, 30B MoE, 32B, 235B MoE等,32B版本支持单GPU部署,支持100多种语言。

#架构#人工智能
    共 100 条
  • 1
  • 2
  • 3
  • 10
  • 请选择