
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文是一篇详细的Ollama本地大模型部署指南,主要面向Windows用户。文章首先介绍了Ollama作为本地LLM工具的简单易用性,随后分三种场景提供教程:官方安装直接使用、手动转换Safetensors格式为GGUF格式、国内镜像源配置。重点讲解了模型格式转换的具体步骤,包括安装llama.cpp工具、执行转换命令、编写Modelfile配置文件等核心流程。最后提供了常见问题排查方法和常用命令

本文是项目——实战过程中遇到的问题记录。问题分类是按照 RAG 的开发过程,以及后续的迭代优化思路来进行划分的。问题集,会不断地更新,更新标识:@modify date(@modify,作为一个关键字搜索;date,就是更新发布的当天日期)

从实践中体会到了 Milvus 结合 BGE-M3 实现混合检索的高召回率,可见 BGE-M3 作为一款嵌入模型的强大;Milvus 中集合(collection)提供的 hybrid_search 灵活可配置,不仅支持 RRF重排,还支持权重重排,通过调整密集、稀疏权重,适应不同任务;基于 RAG 实现的智能问答系统,适合选择混合检索,它不仅考虑了语义相关性,还考虑到关键词匹配,而且检索召回率高

摘要:RAGEval-Chat V2.0项目实现了从CLI到Web应用的架构升级,采用FastAPI+Vue3前后端分离设计,集成Docker一键部署方案。系统核心功能包括基于SSE的流式对话、知识库可视化管理和RAG质量评估体系,支持Recall@K、MRR等指标量化分析。项目创新性地引入AICoding范式,将开发者角色转变为"架构师+指挥官",并计划未来实现自动化参数调优

摘要:RAGEval-Chat V2.0项目实现了从CLI到Web应用的架构升级,采用FastAPI+Vue3前后端分离设计,集成Docker一键部署方案。系统核心功能包括基于SSE的流式对话、知识库可视化管理和RAG质量评估体系,支持Recall@K、MRR等指标量化分析。项目创新性地引入AICoding范式,将开发者角色转变为"架构师+指挥官",并计划未来实现自动化参数调优

技术,就是一个工具,再次从实践中证明了,你知道它的存在,知道它如何使用,你遇到问题的时候,就可以考虑能否用它来解决问题。多学技术,把技术栈建立起来,把自己的技术宝箱丰厚起来的好处就在于此。方向性刺激提示,在教学设计生成上应用,有点天生一对的感觉,教学设计一般有固定的结构,以及有较为成熟的设计思路,只要 prompt 模板上预留合适的刺激提示插槽设计,这是能够大大提升教师制作教学设计的工作效率的。

摘要:提示工程是通过优化输入提示来提升大语言模型输出质量的方法论,包含目标设定、提示设计、模型选择等流程。主动提示(Active-Prompt)是其重要技术,通过动态选择高价值样本优化提示词,解决传统思维链(CoT)固定范例的不足。该技术基于不确定性采样和反馈迭代,在教育、医疗、翻译等领域有广泛应用。文章对比了主动提示与链式思考的区别,前者强调动态调整和个性化,后者注重逻辑推理过程,并提供了Pyt

相对于生成知识提示来说,检索增强生成提示技术是利用了检索技术来实现知识的获取,而生成知识提示还是依赖于大模型本身,同样会受制于大模型的知识瓶颈,RAG并不会,而且还可以理解为一种补充。维度生成知识提示检索增强生成(RAG)核心思想利用语言模型自身知识库生成答案或解释。在生成前先检索外部知识,再结合其生成回答。是否依赖外部数据源否,完全依赖模型内部知识。是,依赖外部文档库或知识库。是否实时更新能力否

摘要:提示技术是实现提示工程目标的具体手段,主要包括生成知识提示等方法。提示工程是通过系统化设计、优化输入提示来提升大语言模型输出质量的方法论,涵盖目标设定、提示结构设计、模型选择及验证迭代等环节。生成知识提示技术通过分阶段生成相关知识和整合推理,解决模型知识覆盖不全和推理断裂的问题,适用于专业领域、长逻辑链等任务场景。文章通过Python代码案例展示了单模型、双模型及结合自我一致性提示的实现方式

本次探究结果仍是未达到预期的目标。LangChain 提供的 MultiQueryRetriever,不适合对领域准确性要求较高的场景,比如政策法规、法律条文等的检索。(当然,这里不包括查询变体所用模型是经过领域微调的,主要是指通用的 LLM)合适的检索返回最相似向量数目 N,会使召回率得到一定程度上的提升。接下来,会继续按 RAG系统整体优化思路图进行优化,提升检索召回率。









