这篇文章主要介绍在自己本地gpu性能不足或者没有gpu的时候，如何部署体验llama3.1。解决方案：采用腾讯cloud Studio免费算力，结合ollama工具私有化部署llama3.1-8b 模型总结:由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。我在一线互联

*1. 阿里发布首个开源推理大模型 QwQ-32B-Preview！自我思考、数学能力媲美OpenAI o1**11月28日，阿里Qwen团队发布首个开源推理大模型！。在评测数据中表现出色，尤其在领域的深度推理任务上，展现出研究生级别的能力。GPQA: 测试模型在常识问答和通用知识理解上的能力。AIME: 检验模型对高难度数学竞赛题目的解题能力。MATH-500: 测评模型在广泛数学领域中解决复杂

总的来说，AI可能会导致某些类型的工作减少，但同时也会创造新的工作机会。这种转变可能会要求劳动力市场进行重大的调整，包括对现有员工的再培训和技能提升，以及教育系统对新技能的培养。因此，AI带来的影响是复杂的，既有挑战也有机遇。社会、政府和企业需要共同努力，以确保平稳过渡并最大化AI带来的好处。​。

本文介绍了微调的基本概念，以及如何对语言模型进行微调。从 GPT3 到 ChatGPT、从GPT4 到 GitHub copilot的过程，微调在其中扮演了重要角色。什么是微调（fine-tuning）？微调能解决什么问题？什么是 LoRA？如何进行微调？本文将解答以上问题，并通过代码实例展示如何使用 LoRA 进行微调。

​ 大模型的应用如今已越来越广泛，虽然和大模型对话非常符合我们的直觉，但是为了能够获得满意的回答，仍然有一些小技巧需要知晓。提问看起来是一件小事情，但在OpenAI官方文档中是以工程来命名的，即Prompt Engineering（提示词工程）。OpenAI官方文档中给出了6大提示词撰写技巧，龙宝做了一些归纳和整理，来一起学习一下吧。​ 大模型无法读懂我们的心思。因此如果对结果有较多的要求，那么在

作为科技领域的领军者，百度于2023年3月16日率先推出了其生成式AI产品“文心一言”，正式开启邀测。仅仅数月后的10月，百度又推出了文心一言的最新迭代版本——文心一言4.0。紧接着，11月1日，百度上线了文心一言专业版，其定价策略也相当亲民，单月购买仅需59.9元/月，连续包月更享优惠价49.9元/月。此前广受欢迎的文心一言基础版，则依然保持免费使用的策略。

Meta刚刚发布了Llama 3.2模型系列，包括多模态视觉模型和小型文本模型，共计10个开放权重模型。这次更新不仅带来了期待已久的视觉能力，还为移动设备和边缘计算提供了更多选择。Llama 3.2 Vision模型终于为Llama家族带来了多模态能力。它提供了两种尺寸：11B版本：适合在消费级GPU上高效部署和开发90B版本：适用于大规模应用90B版本中，其中18B用于新视觉功能。并且，这两个版

没有消费级的 GPU，竟然都可以拥有自己的本地大模型。部署过程基本上没有卡点，一台普通的 Mac 就能搞定，太香了~想学习什么，欢迎留言告诉我。

本文介绍了大模型低显存推理的一些常用方法，同时，重点介绍了 Offload 技术在各个AI框架中的应用。整个思想在各个AI框架中都大同小异，从技术实现上来说，各个 AI 框架的实现略有不同。从灵活性和可控制性上面来说，我更喜欢Huggingface Transformers。从推理速度和易用性上来说，我觉得 LLama.cpp 更好。

想象下如果群里有位小助理，不仅能够欢迎新入群的小伙伴，@他还能回答问题，还能推送一些新闻、群聊精华等是不是很酷的一件事？也可以单独和这位小助理聊天，像极了无所不能私人助手。今天和大家分享的就是使用 Coze Agent 接入个人微信实现小助理功能，主要流程分为如下三步。这个bot就是我们所说的智能体 Agent，用来真正接收微信群或者微信消息并给出答复。这里我们可以先创建一个简易版bot，后续可以