
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文介绍了一个基于大模型的学术问答系统构建流程。首先收集PDF论文,通过MinerU转换为Markdown格式;然后使用EasyDataSet调用ollama大模型生成问答对并导出为JSON训练集;接着在Docker环境下部署LLaMA-Factory进行模型微调,包括环境配置、端口转发和WebUI访问;最后下载DeepSeek-R1等大模型,完成微调后通过Dify平台部署智能体应用。整个过程涵盖
Windows部署的化要开启虚拟化下载wsl2,linux部署就要简单很多,可以采用docker或者conda来部署,conda比较容易并且也是隔离的环境。
Ollama 的优化重点在于简化本地运行流程,支持模型的量化版本以减少资源占用。它的性能受限于单机资源,适合低延迟的本地测试和小规模应用。Ollama 是一个本地化的大模型运行工具,支持在个人计算机上快速下载和运行开源大模型。它支持分布式部署,适合生产环境中的高并发需求,通常需要 Kubernetes 或其他容器编排工具支持。vLLM 支持更广泛的大模型,包括 Llama、GPT-3 等,并提供与
Ollama 的优化重点在于简化本地运行流程,支持模型的量化版本以减少资源占用。它的性能受限于单机资源,适合低延迟的本地测试和小规模应用。Ollama 是一个本地化的大模型运行工具,支持在个人计算机上快速下载和运行开源大模型。它支持分布式部署,适合生产环境中的高并发需求,通常需要 Kubernetes 或其他容器编排工具支持。vLLM 支持更广泛的大模型,包括 Llama、GPT-3 等,并提供与
Windows部署的化要开启虚拟化下载wsl2,linux部署就要简单很多,可以采用docker或者conda来部署,conda比较容易并且也是隔离的环境。
本文介绍了一个基于大模型的学术问答系统构建流程。首先收集PDF论文,通过MinerU转换为Markdown格式;然后使用EasyDataSet调用ollama大模型生成问答对并导出为JSON训练集;接着在Docker环境下部署LLaMA-Factory进行模型微调,包括环境配置、端口转发和WebUI访问;最后下载DeepSeek-R1等大模型,完成微调后通过Dify平台部署智能体应用。整个过程涵盖
Windows部署的化要开启虚拟化下载wsl2,linux部署就要简单很多,可以采用docker或者conda来部署,conda比较容易并且也是隔离的环境。







