随着 ChatGPT 的爆火，很多机构都开源了自己的大模型，比如清华的 ChatGLM-6B/ChatGLM-10B/ChatGLM-130B，HuggingFace 的 BLOOM-176B。当然还有很多没有开源的，比如 OpenAI 的 ChatGPT/GPT-4，百度的文心一言，谷歌的 PLAM-540B，华为的盘古大模型，阿里的通义千问，等等。

越来越多的企业想要私有部署DeepSeek，不同参数版本的模型，需要的硬件配置是不一样的，其中GPU型号对整体硬件成本影响很大。以下供大家参考。显卡：NVIDIA RTX 3060（12GB）或RTX 4060（8GB）内存：16GB DDR4存储：512GB SSD优化策略：FP16量化 + CPU/GPU混合推理单卡方案：约4,000-6,000元（消费级显卡）适用场景：个人开发者调试、轻量级

一文彻底搞懂大模型 - LLaMA-Factory

既不花钱，一般电脑又能玩的方案，一句话总结：本地大模型（qwen:7b）+ 文档搜索工具（whoosh)使用此方案搭建的LLM+个人知识库，网页界面demo如下：若提问内容在我们的文档系统中，输出哪些文档命中，包括内容，然后大模型Qwen自动对内容进行深度分析。总体来说，这种模式充分发挥了高性能检索+LLM问答的两者优势，用起来还是挺舒服的。

人工智能工程师薪酬居于榜首，平均招聘月薪为21930元

大模型与人工智能区别（非常详细），零基础入门到精通，看这一篇就够了

开发大模型相关应用，其技术核心点虽然在大语言模型上，但一般通过调用 API 或开源模型来实现核心的理解与生成，通过 Prompt Enginnering 来实现大语言模型的控制，因此，虽然大模型是深度学习领域的集大成之作，大模型开发却更多是一个工程问题。在大模型开发中，我们一般不会去大幅度改动模型，而是将大模型作为一个调用工具，通过 Prompt Engineering、数据工程、业务逻辑分解等手

我们来通过一个例子看一下结算结果，以及参数的计算。

对每个聚类生成一个摘要。例如，对于“神经网络优化”类别，摘要可能是：“该类文档主要探讨了神经网络的超参数优化方法，包括梯度下降的改进、优化器选择和自动化调参工具。

PyTorch就是工具，而Transformer就是理论；而理论指导工具。我们都知道大模型的本质是一个神经网络模型，因此我们学习大模型就是在学习神经网络模型；但了解了很多关于神经网络的理论，但大部分人对神经网络都没有一个清晰的认识，也就是说神经网络到底是什么？它长什么样？事实上所谓的神经网络本质上就是一个数学模型，里面涉及大量的数学运算；只不过其运算的主要数据类型是——向量，具体表现为多维矩阵。P