这篇文章把学术语音小助手几个模块部分实现细节代码完善。完整项目代码放在github中https://github.com/liangwq/Chatglm_lora_multi-gpu，感兴趣同学可以下载下来自己运行下。目前代码已经把所有功能都实现了，但是还没有整合成一个一键运行的项目，这块后续会逐步完善。项目还有很多优化提高地方，比如：1.如何提高长文本摘要生成准确性和生成速度2.如何提高语音合成

1.从现在视觉模型，结合chatgopt的能力发现现在视模型，缺少一个和chatgpt类似的通用大模型2.现在的视觉生成模型框架有望把各种视觉能力汇总到一个框架，发展出类似chatgpt的通用大模型3.展望了通用视觉通用大模型需要具备什么能力4.展望如何通过生成视觉模型框架来统一各种能力，数据和任务搞如何设置5.对现在通用大模型能力，特别是有状态的增删改能力做了些论文小结个人预测真正有通用能力的视

这篇文章比较全面的把code生成大模型实践性需要的东西梳理了一遍。从模型、数据、任务设计给出了可执行层面的梳理，给出了目前主流的一些代码生成模型、和可以用来训练的数据、以及为了让模型具备能力应该要考虑设计的任务，同时也结合一个例子给出了数据如何设计的思路。1.对于模型的考量从两个维度：预训练、instruct的训练使用企业应用的不同需求。2.对于数据设计给出了预训练、instruction两部分，

1.把DDIM模型做了实现层面的介绍2.把具体实现代码和推导细节对应3.代码学习是为了后面sd模型打基础4.甚至是为了后续改模型架构，增加更多特征信息作铺垫

1.介绍了为何要开始内容运营2.介绍内容运营产品需要具备的几个能力3.介绍了如何基于LLM模型来构建内容运营系统4.介绍了如何提升LLM模型的能力

文章开始提出了专用模型和大模型在思路上的差异；大模型对能力做了分层，同时大模型需要在各种通用能力上表现都比较好。然后针对每一层的能力，以及这些能力该如何获得做了技术层面和实操层面侧阐述；也介绍了每层能力的差异饿必要性。1.pretain model主要目的就是构建模型的多种通用能力2.sft让模型具备通用能力在特定任务适配组合的能力3.RLHF解决的是让模型能够有更精细的想人一样的差异化能力4.工

Ai作图可能应用方向的一些效果展示，以及后续内容安排

本文就对多模态预训练模型做了整理，从多模态预训练大模型主要包括以下4个方面：1.多模态众原始输入图、文数据表示：将图像和文本编码为潜在表示，以保留其语义2.多模态数据如何交互融合：设计一个优秀架构来交叉多模态信息之间的相互作用3.多模态预训练大模型如何学习萃取有效知识：设计有效的训练任务来让模型萃取信息4.多模态预训练大模型如何适配下游任务：训练好的预训练模型fintune适配下游任务

大模型相关技术综述

小样本学习难点在于：1.数据量较少，比如10-16个样本2.fintune后接后置任务模型层，参数比较多可以把这个问题看成是矩阵求解时候的，函数参数比较多、但是方程等式较少，这样求解方程组会导致方程组的解有很多种，那如何选出符合业务最优解就是个难题，如果随机的选很容易出现选出一个泛化力不够的解。针对这种问题一般的解法有三：1.增加更多的等式——>增加数据量2.增加约束条件，让函数参数减少——>引入