登录社区云，与社区用户共同成长
邀请您加入社区
先介绍 Ollama 在不同系统的安装与配置方法，验证服务是否安装成功；接着阐述Deepseek 模型的下载、加载及验证测试过程，给出硬件要求建议；随后讲解安装如 chatbox、Page Assist 等交互 ui 的方式；然后说明利用 Dify 搭建知识库的步骤，包括环境准备、创建聊天和知识库；最后通过翻译场景测试应用，发现 14b 模型比 7b 模型在翻译上更准确，执行效率能满足特定业务场景
真的想入门大语言模型，只看这一个文章应该是可以入门的。但是修行下去，还是要靠自己的了！如果你把大语言模型/LLM 当成一门技术来看，那就要看一下这门技术需要什么。这些东西我们假定你都已经会了，或者熟练使用了。如果不熟，我建议你自己再学习一下。尤其是数学的几个基本公式，是要学会的。我列一下吧。
最近字节在推Coze，你可以在这个平台制作知识库、制作工作流，生成一个具有特定领域知识的智能体。那么，有没有可能在本地也部署一套这个东西呢？这样敏感数据就不会泄露了，断网的时候也能使用AI。刚好最近Llama 3.1发布了，本文就以Llama 3.1作为基础模型，配合Dify在本地搭建一套“Coze”。跟着本文一步步操作，保证能行！
这篇论文《Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI》详细阐述了具身人工智能（Embodied AI）的发展现状，特别是在多模态大模型（MLM）和世界模型（WM）技术推动下的进展。具身人工智能被认为是实现通用人工智能（AGI）的关键途径之一。本文不仅深入探讨了具身感知、具身交互和具身
自学大模型这6本书你一定要看，学完你就是大模型大师了
MiniMind 是一个轻量级的大语言模型项目，让用户可以在个人设备上快速训练和运行GPT模型。该项目可以使用极小的数据和计算资源，在3小时内训练出一个26M的模型，使大模型技术使用更加简单。MiniMind 支持单机单卡和多卡训练，兼容多个流行的框架，并提供完整的代码和文档支持，帮助初学者和研究者快速上手并进行定制和扩展。MiniMind现在总共有5个模型，最小的是26M，已经有不错的对话能力了
近期，Meta 重磅发布发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。
从本质上讲，摘要是一种语义级别的压缩，可能会改变语言表达，但会保留原始含义。为确保压缩Prompt的大语言模型性能与原始Prompt没有显著偏差，以下将介绍有训练和无训练的两种方法。第一种方法通常将原始输出作为监督信号来训练摘要器。在RAG场景中，RECOMP（Retrieve, Compress, Prepend）[106] 在上下文集成之前，将检索到的文档压缩为文本摘要。有两个以查询为重点的压
Flowith通过重新思考人与AI的交互方式，创造了一种全新的创作体验。它不仅仅是一个AI工具，更是一个完整的创作生态系统，将知识管理与内容创作无缝结合。在AI工具同质化严重的今天，Flowith的创新之处在于：1. 突破了传统对话界面的限制，引入二维画布交互2. 将AI代理能力与可视化界面结合，使复杂任务执行更加直观3. 通过知识花园解决了AI"幻觉"问题，提高了生成内容的质量和可靠性随着AI技
如果我们使用多个源来生成答案，要么是由于初始查询的复杂性（我们必须执行多个子查询，然后将检索到的上下文合并到一个答案中），要么是因为我们在各种文档中找到了单个查询的相关上下文，问题是我们是否能够准确地回溯我们的来源。显然，尽管OpenAI是LLM提供商的市场领导者，但仍有许多替代方案，例如Anthropic的Claude、最近流行的较小但功能强大的模型，例如Mixtral形式的Mistral、Mi
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。中文支持不够完善。\3. 文中提到的技术软件工具有：Ollama、Chatbox、Open WebUI、向量数据库、嵌入模型、本地模型 Gemma、AnythingLLM。
此外，它还允许您在任何数据上（如私有数据或未见过的数据）对模型进行微调，并在不需要支付如 OpenAI API 的费用的情况下使用它。：API 是部署 LLM 的一种方便方式。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然
Github项目上有一个，它全面涵盖了大语言模型的所需的基础知识学习，LLM前沿算法和架构，以及如何将大语言模型进行工程化实践。这份资料是初学者或有一定基础的开发/算法人员入门活深入大型语言模型学习的优秀参考。这份资料重点介绍了我们应该掌握哪些核心知识，并推荐了一系列优质的学习视频和博客，旨在帮助大家系统性地掌握大型语言模型的相关技术。
在科技浪潮的推动下，人工智能（AI）技术已经成为推动软件行业发展的核心动力。而在AI技术的众多分支中，AI大模型以其巨大的潜力和广泛的应用场景，逐渐成为了程序员们关注的焦点。本文将从程序员的角度出发，探讨AI大模型的定义、应用，以及为何程序员需要深入了解大模型的相关知识。
有的时候，我们在ollama pull 拉取模型时，很长时间都拉取不下来，这是由于ollama拉取模型的网址并不在国内，网速就比较慢。这个时候，可以考虑自己先本地把模型下载下来，再进行加载。另外网速问题，还可以开启VPN 挂 Tun 模式，这种我们就不细说了。本方法适合有一定基础的朋友进行实践。如果你能成功拉取模型，则不需要关注。ollama 提供了可以在本地加载模型的方案，就是使用一个配置文件的
深入探索像ChatGPT这样的大语言模型，本文是第3篇，主要介绍了后训练的RL部分
25年1月来自浙江大学、上海AI实验室、慕尼黑工大、同济大学和中科大的论文“LeapVAD: A Leap in Autonomous Driving via Cognitive Perception and Dual-Process Thinking”。尽管自动驾驶技术取得长足进步，但由于推理能力有限，数据驱动方法仍然难以应对复杂场景。与此同时，随着视觉语言模型的普及，知识驱动的自动驾驶系统也得
购买服务器并部署AI模型是一个系统化的过程，需要根据具体需求选择合适的硬件、软件和部署方案。本文整理了在部署搭建大模型服务时需要考虑的一些注意事项，可作为个人和企业在实践过程中的参考使用。：使用ELK（Elasticsearch、Logstash、Kibana）监控系统日志。：是深度学习模型（如CNN、RNN、Transformer）还是传统机器学习模型？（如3090、4090）：性价比高，适合中
说到幻觉，现在也是有个排行榜，看谁的幻觉最少，DeepSeek排名较后，尤其是DeepSeek-R1，幻觉率有14%，这也与我们日常使用体验接近。或许幻觉（胡编乱造）和创造性本来就是ai的一体两面。对此有人说，你要限制ai的能力，而不是放任它发挥，例如先给方案等我确认或者提出疑问等我解答，又如限制回答内容长度等。而限制ai能力，就引出另一个说法：你本来不会做的事情，ai也做不好。我理解这有两个层面
正如文章标题所言，你是否也曾好奇过：加载使用一个 70B 大小的 LLM，究竟需要多大的 GPU 显存呢？读完这篇文章应该会有答案。为什么是GPU，而不是CPUAI 本质上是大量的矩阵 与向量运算 ，属于计算密集型运算，需要大量的内存空间来保存模型的训练参数。一般通用 CPU 运算单元都是标量，而 GPU 是一个把SIMD(单指令多数据)和SIMT(单指令多线程)运用到极致的协处理器，在体系结构上
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
1Github 仓库也有了 29 个 Star、10 个 forks，刚顺便解决了一个处理函数封装成 API 端点的 Issue。这个项目原是春节期间在老家给一个企业做 RAG 项目咨询的精简版本，使用 Gradio 构建 Web 界面供大家测试使用。本是希望大家在这个基础上根据个人或者企业需求进行二次开发，但是在小红书、微信收到一些后台私信里，在集中咨询关于自行开发和现有主流 RAG 框架的区别
除了ppo, dpo(Direct Preference Optimization:直接偏好优化)也是一种常见的调优手段, 不过多篇paper研究证明性能不如PPO, 在计算资源不足的情况下DPO也是个不过的选择,因为不需要训练奖励模型, 而且训练速度快,效果也比较稳定, 不像PPO那样很容易训崩.其他LLM偏好对齐训练技术还有ORPO,IPO,CPO以及效果看起来很棒的KTO.还有最新发表的RL
此工作第一次探讨了隐性噪声对RAG系统的影响，并发现当前SOTA模型也存在类似缺陷，开启了新的研究方向，这启示我们在做RAG系统时，不仅要规避参考文档中的误导信息，也不能忽视语言风格、格式等非内容特性至于上述鲁棒性缺陷的原因，本文倒是没有做深入探讨目前对此工作的了解仅限于发表的论文，git上还是个空仓库，相关细节未知，huggingface的人正在催更。
输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落。每个样本可以是一个字符串或者是一个tokenized的文本序列。标签数据：标签数据是与输入数据对应的标签或类别。标签可以是单个类别，也可以是多个类别的集合。对于多分类任务，通常使用one-hot编码或整数编码来表示标签。
大语言模型（LLMs）的快速发展推动了多个领域的变革，重塑了通用人工智能的格局。然而，这些模型不断增长的计算和内存需求带来了巨大挑战，阻碍了学术研究和实际应用。为解决这些问题，人们开发了包括算法和硬件解决方案在内的多种方法来提高大语言模型的效率。本综述全面回顾了旨在提高大语言模型效率的算法进展。与其他通常专注于特定领域（如训练或模型压缩）的综述不同，本文探讨了对大语言模型端到端算法开发至关重要的多
AI 大模型技术的发展正当时，它不仅改变了数据处理的方式，也为各行各业带来了新的增长点。随着技术的不断进步和应用的不断深入，AI 大模型将成为推动社会进步和经济发展的重要力量。《2024-2025年中国AI大模型市场现状及发展趋势研究报告》为我们提供了一个深入了解这一领域的机会，让我们共同期待 AI 大模型技术带来的更多可能。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微
LLaMA-Factory开源程序使用零代码 CLI 和 Web UI 轻松微调 100+ 大型语言模型。
基于扩散模型的大语言模型正处于蓬勃兴起的阶段。从早期扩散模型的提出到与大模型结合的最新突破，我们见证了这一领域的迅猛发展。在哲学层面，DB-LLM带来了关于AI可解释性和认知边界的新思考；在技术层面，大量研究解决了将扩散引入语言的关键难题；在应用层面，DB-LLM展现出广阔前景，也提出了新的挑战。展望未来，随着多模态融合、低资源训练、自适应学习等方向的推进，DB-LLM有望在生成质量、效率和可控性
语言模型
——语言模型
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
DeepSeek技术社区
2048 AI社区
