引言通过海量数据的训练，大语言模型已经逐渐具备了理解和生成人类语言的能力，在一定程度上掌握了对话、问答、常识推理、阅读理解和归纳总结，乃至于编程和数学计算等多种技能，受到了广泛的关注和应用，同时开启了通用人工智能发展的无限可能。从2018年发布的GPT-1到2020年发布的GPT-3，通过逐渐提高模型规模和训练模型的数据量，大模型的知识范围、语言理解和表达能力不断提升，可以熟练地生成通顺的语言文本

在使用多模态大模型(Visual Language Model, VLM)做视觉信息抽取时，常常出现错字的问题。为了解决这一问题，本文提出了一种名为的方法。该方法在的情况下，先利用OCR算法获取图片中的文字内容，再利用OCR识别出的文字对VLM的生成过程进行约束，从而一定程度上减少VLM做视觉信息抽取任务时出现错字的情况。图1：一张医疗发票，其中的敏感信息已被抹去使用Qwen2-VL-2B模型抽取

多模态大语言模型（MLLMs）的快速进步展示了它们在各个应用领域中的显著能力。然而，多图像理解场景仍然是一个重要但尚未充分探索的方面。特别是，将 MLLMs 的应用场景扩展到理解更长的视频、更高分辨率的图像以及基于更多历史信息的决策，对于提升用户体验和进一步拓展 MLLMs 的应用范围至关重要。然而，将 MLLM 的上下文长度扩展以提高其可用性，面临着处理更多图像时性能下降和计算成本高昂的挑战。一

内容审核是指对互联网上的内容进行审核的过程，主要包括文本、图像、音频和视频等多种形式的内容。随着互联网的普及和用户生成内容的增加，内容审核的重要性也不断提高。人工审核不能满足需求，因此需要借助人工智能技术来自动化审核。AI大模型在内容审核领域具有广泛的应用前景，可以帮助企业和组织更有效地管理和审核内容。

上下文窗口和工具性能和许可证。

Ollama可以在本地CPU非常方便地部署许多开源的大模型。如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。本文将按照如下顺序介绍Ollama的使用方法~⚫️ 下载安装Ollama⚫️ 命令行交互⚫️ python接口

大模型的发展对云端和车端算力、感知端、执行端以及商业模式都产生了深远影响。BEV+Transformer技术通过整合多模态数据，提供全局视角，消除遮挡和重叠问题，从而提高物体检测和跟踪的精度。这种技术还通过注意力机制增强了智能驾驶的泛化能力，促使智能驾驶从机械式学习向总结归纳转变。在车端，大模型可赋能自动驾驶的感知和预测环节，并逐渐向决策层渗透，驾驶策略或将从规则驱动向数据驱动转变。在云端，大模型

近一年来，大模型热潮席卷全球并持续升温。越来越多的知名高校、科研院所和创新型企业加大研究力度，大模型技术不断迭代升级，模型能力不断加强，逐渐形成从底层算力、模型开发到行业应用的全新智能化产业。随着大模型技术趋于成熟，政策环境逐渐明朗，大量企业开始将大模型建设重心从基础能力建设向应用能力建设转移，更多的产业数字化潜力持续释放。美国大模型商业化应用进展全球领先，商业化进展迅速。一是网络、存储等基础设施

大模型会成为AI时代的一项基础设施。作为像水、电一样的基础设施，预训练大模型这样的艰巨任务，只会有少数技术实力强、财力雄厚的公司去做。绝大多数人，是水、电的应用者。对这部分人来说，掌握如何用好大模型的技术，更加重要。用好大模型的第一个层次，是掌握用好大模型的第二个层次，是，这也是今天这篇文章的主题。

我们推出了phi-1，这是一款全新的大型代码语言模型，其规模显著小于市面上的其他竞品模型。phi-1是一款基于Transformer的模型，拥有13亿个参数。它利用8个A100 GPU，在仅4天的时间内完成了训练。训练数据包括从网络上精选的“教科书级质量”的数据（60亿个词元）以及通过GPT-3.5生成的合成教科书和练习题（10亿个词元）。尽管phi-1的规模相对较小，但它在HumanEval基准