登录社区云,与社区用户共同成长
邀请您加入社区
本文介绍了如何在星图GPU平台上自动化部署【ollama】embeddinggemma-300m镜像,快速构建轻量级文本嵌入服务。该镜像专为语义搜索、文本相似度计算与多语言分类等场景优化,支持CPU高效推理,适用于电商评论分析、知识库检索等典型AI应用。
本文介绍了如何在星图GPU平台上自动化部署【ollama】QwQ-32B镜像,快速启用本地大模型推理能力。用户无需配置环境,5分钟内即可启动具备多步逻辑推演能力的320亿参数模型,典型应用于数学题求解、代码生成与可解释性推理等场景,实现低延迟、高可控的AI交互体验。
本文介绍了如何在星图GPU平台上自动化部署【ollama】LFM2.5-1.2B-Thinking镜像,充分发挥其轻量级‘思考型’文本生成能力。该模型仅1.2B参数,却能在CPU环境稳定运行,适用于电商文案撰写、技术文档摘要、社交媒体内容创作等高频实用场景,显著提升日常内容生产效率。
本文详细介绍了如何在本地使用Ollama部署和运行DeepSeek系列大模型。从Ollama的跨平台安装、DeepSeek不同参数版本的选择与硬件匹配,到多模型管理、存储路径优化及API调用等高级技巧,提供了一套完整的本地AI部署实战指南,帮助用户构建私有、高效且安全的AI应用环境。
Ollama是一款开源工具,支持在本地快速部署和运行大型语言模型(LLM)。其核心优势包括数据隐私保护(无需云端)、成本低、兼容OpenAI API,并支持多平台(Windows/macOS/Linux)。主要功能涵盖模型管理(内置下载/查看命令)、交互式对话(run命令)和API访问(默认端口11434)。常用操作包括:拉取模型(pull)、查看模型列表(list)、启动服务(serve)等,模
大型语言模型(LLM)作为当前人工智能领域的核心技术,通过在海量文本数据上进行预训练,掌握了强大的语言理解和生成能力。其工作原理基于Transformer架构,通过自注意力机制捕捉文本中的长距离依赖关系。这项技术的核心价值在于能够实现自然语言交互、内容创作、代码生成等多种智能任务,为个人和企业提供了高效的生产力工具。在实际应用中,本地部署大模型成为越来越多用户关注的方向,主要解决了云端服务的网络依
本文深入分析了大模型参数量选择与本地部署方案。技术角度指出32B模型是当前通用场景的性价比拐点,但垂直领域通过知识蒸馏可使小模型(<10B)达到生产要求。文章详细对比了Ollama、LMStudio等本地部署工具的特点与适用场景,帮助开发者根据硬件条件和应用需求选择最佳方案。随着模型架构创新与推理优化技术发展,中等规模模型(13B-20B)正逐渐具备实用价值,未来7B-13B模型有望在边缘计算场景
Ollama云模型功能解决了本地硬件不足的问题,允许用户在云端运行大模型而不受本地显卡限制。使用方法简单,只需登录账号并添加'-cloud'后缀即可运行支持的超大模型。云模型不占用本地资源,适合电脑配置较低或需要运行大模型的场景,但需注意网络延迟和API密钥安全。目前处于免费预览期,未来可能按调用计费,是个人开发者和轻量部署的理想选择。
该综述系统介绍多模态大模型智能体(Agentic MLLMs),对比传统MLLM智能体,突显其动态工作流、主动执行、跨域泛化的三大特征。文章构建内部智能(推理、反思、记忆)-外部工具调用-环境交互三维框架,梳理基础模型架构、训练范式与评估体系,汇总开源资源与应用场景,并指出未来研究方向,为研究者提供全面视角与实用指南。
Token是大语言模型处理文本的基本单元,可以是完整词语或其片段。分词器负责将原始文本转换为Token序列,不同模型采用不同分词策略(如BPE、SentencePiece等)。Token数量直接影响模型计算成本和费用,理解Token对控制成本至关重要。从LLaMA 2到LLaMA 3,分词技术不断演进,词汇量扩大,处理效率提升。Token作为AI经济体系的通用货币,已成为大模型商业应用的计费标准。
文章主要介绍了AI智能体的概念及其与大模型的区别。大模型如同超级大脑,擅长分析并以文本/图片等形式给出答案;而AI智能体则是"大脑+手脚"的复合体,能自主调用各种工具,直接交付可落地的成果,如报表、PPT等。智能体可实现端到端自动化,对B端业务具有颠覆性潜力,是AI应用的下一效率跃升点。
线性回归是机器学习的基础模型,旨在找到最佳直线拟合数据点。其损失函数通常采用均方误差(MSE),平方操作既能放大偏差便于模型关注错误点,又保证函数连续可导便于梯度下降优化。训练过程可通过梯度下降迭代更新参数或使用最小二乘法直接求解。掌握线性回归等基础知识对理解更复杂的模型架构至关重要,也是面试中展示扎实理论功底的关键。
35+程序员面临裁员危机,但AI时代带来新机遇。文章指出商业世界存在周期性变化,AI正处于从概念向应用过渡的关键阶段。2025年将是AI应用元年,智能体开发将成为新风口。35+程序员凭借丰富行业经验和结构化工作流能力,将在AI时代占据优势。作者建议以"行业+智能体"为发展方向,认为这是解决中年危机的最佳路径。
本文详细介绍如何使用Ollama框架在本地运行开源大语言模型。内容包括下载安装Ollama、运行Microsoft的phi-2模型、自定义模型配置,以及实现流式传输、思考能力、结构化输出、视觉任务和工具调用等高级功能。通过Ollama,开发者可以在本地轻松部署LLM,并与各种编排框架集成,便于构建LLM应用。
本文介绍如何通过gpt-oss-20b与Ollama在普通笔记本上高效运行高性能大模型,支持离线部署、定制化AI助手及API集成,适用于企业知识库、教育编程辅导和边缘计算场景,兼顾性能与隐私安全。