基于机器学习的数据生成器在去年发生了如此多的创新，你可以将 2022 年称为“生成 AI 年”。我们有 DALL-E 2，这是来自 OpenAI 的文本到图像生成模型，它生成了宇航员骑马和狗穿着人衣服的惊人逼真的图像。GitHub Copilot 是一款功能强大的代码完成工具，可以自动完成语句、编写文档并通过一条评论为您实现全部功能，已作为订阅服务向公众发布。我们拥有 Dream Fields、D

检索增强生成 (RAG) 涉及从外部数据库获取当前或上下文相关信息，并在请求大型语言模型 (LLM) 生成响应时将其呈现给大型语言模型 (LLM) 的过程。这种方法有效地解决了生成不正确或误导性信息的问题。你能够存储专有业务数据或全局知识，并使你的应用程序能够在响应生成阶段为 LLM 检索此数据。

在过去的几个月里，生成式人工智能领域出现了许多令人兴奋的新进展。ChatGPT 于 2022 年底发布，席卷了人工智能世界。作为回应，各行业开始研究大型语言模型以及如何将其纳入其业务中。然而，在医疗保健、金融和法律行业等敏感应用中，ChatGPT 等公共 API 的隐私一直是一个问题。然而，最近 Falcon 和 LLaMA 等开源模型的创新使得从开源模型中获得类似 ChatGPT 的质量成为可能

作为一名数据工程师，我对测试一些生成式 AI 模型并在本地安装/运行模型很感兴趣。大型语言模型 (LLM) 和视觉语言模型 (VLM) 是最有趣的。OpenAI 提供了 ChatGPT 网站和移动应用程序。微软创建了 Windows 11 Copilot 供我们使用。但是，我们无法控制哪些数据被发送到互联网并存储在他们的数据库中。他们的系统不是开源的，就像神秘的黑匣子一样。

Moondream2 是一个开源小型视觉语言模型，源代码位于 GitHub 上，vikhyatk制作。虽然它不是最先进的模型，但它能够以合理的速度和准确性在设备上本地运行，这使它成为 VLM 的一个引人注目的选择，值得尝试进行微调，看看它是否适合您的用例。与其他 VLM 相比，它的得分相对较高。它甚至在 VQAv2 上击败了最近发布的 GPT-4o，考虑到 Moondream2 的本地、开源和小得

Stability AI 的官方插件允许 Blender 艺术家使用现有的项目和文本描述来创建新的图像、纹理和动画。推荐：用快速搭建3D场景。

在开始训练部分之前，我们先定义训练、数据集和模型配置。该模型将使用 48 的批量大小进行 35 个 epoch 的训练。优化器的学习率设置为 0.00005。较高的学习率会使训练过程不稳定，从而从一开始就导致较高的损失。此外，我们还定义了根数据集目录和我们将使用的模型。TrOCR Small Printed 模型将进行微调，因为它根据该数据集的实验展示了最佳性能。所有模型的详细解释可以在TrOCR

Moondream2 是一个开源小型视觉语言模型，源代码位于 GitHub 上，vikhyatk制作。虽然它不是最先进的模型，但它能够以合理的速度和准确性在设备上本地运行，这使它成为 VLM 的一个引人注目的选择，值得尝试进行微调，看看它是否适合您的用例。与其他 VLM 相比，它的得分相对较高。它甚至在 VQAv2 上击败了最近发布的 GPT-4o，考虑到 Moondream2 的本地、开源和小得

SAM2（Segment Anything 2）是 Meta 推出的一款新模型，旨在对图像中的任何内容进行分割，而不局限于特定的类别或领域。该模型的独特之处在于其训练数据规模：1100 万张图像和 110 亿个掩码。这种广泛的训练使 SAM2 成为训练新图像分割任务的强大起点。你可能会问，如果 SAM 可以分割任何东西，为什么我们还需要重新训练它？答案是 SAM 在常见物体方面非常出色，但在罕见或

深度学习领域是计算机科学中变化最快的领域之一。大约 5 年前，当我开始研究这个主题时，TensorFlow 被认为是主导框架。如今，大多数研究人员已经转向 PyTorch。虽然这种快节奏令人兴奋，但也带来了很多挑战。最近，我面临着继续完成 2018 年开展的一个项目的任务。一位同事在大量临床数据集上训练了一个分割模型，并报告了出色的性能。今天，我们的目标是在称为迁移学习的过程中，将该训练好的模型用