文章对比了7种主流大模型部署框架（Transformers、ModelScope、vLLM、LMDeploy、Ollama、SGLang和DeepSpeed）的技术架构、优缺点及适用场景，针对个人开发、企业高并发、边缘计算和分布式部署等不同需求提供具体选型建议，帮助开发者根据业务需求选择合适框架，最大化发挥大模型性能潜力。

不得不感叹AI的发展真是太快了，各行各业都在被AI影响着！前段时间我跟了一个央企的AI项目，他们的需求很简单就是要做一个AI应用平台，目的就是要AI办公提效。这个项目的驱动也很有意思，是由上及下的。我猜测，应该是公司大领导为了响应上面，急于做出一些“成绩”。至于这个“成绩”是否真正能产生效益先不管，至少表面工作要做到位！这是态度问题！按理说，央企的项目，我是没机会参与的，但就因为他们着急落地，所以

使用Ollama部署大模型的时候，有几个注意事项要注意。Ollama默认的上下文窗口只有2K，多张显卡可能资源分配不均等问题，计算速度不够快。我们先看一下Ollama可配置环境变量：OLLAMA_DEBUG: 显示额外的调试信息（例如：OLLAMA_DEBUG=1）。OLLAMA_HOST: Ollama 服务器的 IP 地址（默认值：127.0.0.1:11434）。OLLAMA_KEEP_AL

最近陆续收到一些朋友的提问：Excel该怎么更好的录入fastgpt知识库呢？录入之后知识库问答效果不佳又怎么办呢？虽然fastgpt支持直接导入Excel，但是如果你姿势不对，导入知识库的数据质量将大打折扣，导致知识库问答效果不佳。优化知识库的问答效果不是一蹴而就的，需要经过反复调整，反复测试。而且是多维度的优化。语言模型、索引模型、重排模型、RAG的方式、数据的质量、知识库的参数、大模型的参数

Deepseek和Ollama的本地部署的最详尽的手册来了！相信感兴趣的朋友已经看到了很多类似的部署手册了，部署很简单，可能够让自己舒心却不容易。现在，让我们从零开始，先安装ollama，配置ollama相关路径，再到把Deepseek跑起来，最详尽的步骤就在这里。Ollama的安装包可以直接从 ollama.com下载，安装包大小大概750M，或者。

过年期间发生了2件震撼我的事，一是饺子的哪吒2，二是。哪吒的精益求精，更加让我坚信公众号内容需要深耕精益求精，与学术修养一样需要更纯粹的心血读者才能更共鸣。Deepseek则让我内心激动，因为这2年的AI测评一度让我觉得世界都被openAI等一众灯塔产品深深的支配的，这次终于看到国产原创之光且如此成功。下面一起随着我，深入deepseek与chatGPT对我日常科研、写作与分析的双雄对决。

在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。

Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一套简单的工具和命令，使任何人都可以轻松地启动和使用各种流行的LLM，例如GPT-3、Megatron-Turing NLG和WuDao 2.0。Llama3 是由 Meta AI 开发的最新一代开源大型语言模型 (LLM)。它基于 137B 参数的 Transformer 架构，在大量文本和代码数据集

DeepSeek V4 或将在春节前后发布，其通过 Engram 架构将知识外存至系统内存，大幅提升效率并降低成本；同时 mHC 框架解决超深层模型训练不稳定问题。这些创新算法优化，展现了中国 AI 企业在算力受限情况下通过技术突破实现性能提升的策略，预示更高效的大模型时代到来。

本文介绍了一个独立开发者使用OpenClaw+Codex/CC搭建AI Agent系统，实现了高效的开发模式。该系统通过编排层管理业务上下文，执行层专注代码生成，自动化完成大部分任务，大幅提升开发效率。作者分享了系统的架构、工作流程和代码配置，并探讨了如何利用AI工具实现快速开发。该系统成本低廉，适合个人开发者使用，为AI自动化实践提供了 valuable 的参考。