Cogvlm模型共包含四个基本组件：ViT 编码器，MLP 适配器，预训练大语言模型（GPT-style）和视觉专家模块。- ViT编码器：在 CogVLM-17B 中，采用预训练的 EVA2-CLIP-E。也就是上图将图片进入vit encoder编码。在CogVLM-17B中，移除了ViT编码器的最后一层，因为该层专注于整合[CLS]特征以用于对比学习。- MLP 适配器：MLP 适配器是一个

（1）可能是模型没有移动到和数据相同的device上：`model.to(device)`（2）可能是input和参数没有在相同device上

CLIP使用了对比学习的方法，即通过正样本（匹配的图像-文本对）和负样本（不匹配的图像-文本对）来训练模型。在训练过程中，模型会尝试最大化正样本对的相似度（比如通过计算余弦相似度），同时最小化负样本对的相似度。CLIP模型在zero-shot学习中表现强大，可以直接用于zero-shot推理，比如将猫的图片emb后，将猪狗猫等类的文本描述也分别emb，计算图片和类别emb之间的相似度，从而进行分类

- 给出好的prompt可以让LLM生成更好的答案，反过来想通过LLM帮我们找到好的prompt就是prompt tuning的思路，训练让模型看到新的例子生成prompt，并把该段prompt作为前缀拼接到我们自己的prompt上，送入LLM得到结果- prompt tuning训练的前缀是向量，所以解释性略差- 和few show比较：LLM的上下文context长度是有限的（prompt中给

视觉编码器：InternViT-6B动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。

金融行业需要垂直领域LLM，因为存在金融安全和数据大多数存储在本地，在风控、精度、实时性有要求（1）500亿参数的BloombergGPTBloombergGPT金融大模型也是用transformer架构，用decoder路线， 构建目前规模最大的金融数据集FINPILE，对通用文本+金融知识的混合训练。用了512块40GB的A100 GPU，训练中备份了4个模型，每个模型分了128块GPU。（2

LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，Ch

大模型的痛点：- 仅考虑单一粒度语义建模，缺乏多粒度知识引入，语义理解能力受限；- 受限于 Transformer 结构的建模长度瓶颈，无法处理超长文本；- 聚焦语言等单一模态，缺乏工业真实应用场景针对多个模态如语言、视觉、听觉信息的联合建模能力。Ernie 2.0是百度在Ernie 1.0基础之上的第二代预训练结构。模型结构与Ernie 1.0还有 Bert保持一致，12层的transforme

bash，解释性语言，脚本语言，胶水语言(可以通过将系统调用、公共程序、工具和编译过的二进制程序”粘合“在一起来建立应用) 。对于重复工作和管理系统任务上挺方便。- bash就是linux系统中自带的shell（命令行窗口）（1）如果提示执行脚本没有权限`-bash: ./xxx.sh: Permission denied`则通过`chmod`添加执行权限`chmod 777 demo1.sh`。

文章目录一、大数据开发岗要求1.1 大数据方向分类（1）基础平台开发：（2）数据产品开发：（3）数据仓库：（4）数据分析：（5）算法：1.2 大数据工具之间的关系（1）怎么存下大数据（2）怎么处理数据（3）什么是Map，什么是Reduce？（4）更高层描述算法和数据处理（5）流计算（6）KV Store（7）调度系统Yarn1.3 大数据学习路线（1）基础部分（2）javase（3）zookeep