本文介绍了微调的基本概念，以及如何对语言模型进行微调。从 GPT3 到 ChatGPT、从GPT4 到 GitHub copilot的过程，微调在其中扮演了重要角色。什么是微调（fine-tuning）？微调能解决什么问题？什么是 LoRA？如何进行微调？本文将解答以上问题，并通过代码实例展示如何使用 LoRA 进行微调。

人工智能 (AI) 正以惊人的速度重塑着各行各业，软件开发领域也不例外。近年来，AI 驱动的编程助手如雨后春笋般涌现，极大地改变了开发者的工作方式，使他们能够以前所未有的效率和精度编写代码。在这些 AI 驱动的助手领域中，编程 Agent 正日益受到关注，并有望彻底改变我们构建软件的方式。作为 AI 领域的杰出人物，教授对编程 Agent 的兴起表示了极大的兴趣。他认为，编程 Agent 有潜力通

如果以扩散模型的发展路线做类似，目前的LlamaGen只是Stable Diffusion v1阶段，改进方向包括SDXL（更大的分辨率，更多的aspect ratio），ControlNet（更高的可控性），Sora（视频生成）。从多模态大模型的视角看，自回归模型分别实现理解任务和生成任务都被证明了可行性，下一步就是在同一个模型中联合训练。这需要更多的图文数据和更大的计算资源才能走得通，也可能由

Ollama是一个能在本机运行大语言模型的软件，它提供命令行和API的交互方式，对于需要考虑数据隐私的情景，可以方便的使用Ollama部署大语言模型，并在此基础上开发RAG等应用，而无需调用OpenAI等开放API。Ollama基本上已经建立了比较完善的生态，除了在系统中使用命令行、API等方式交互，Langchain、Dify等开发框架也都支持Ollama，另外，也有非常多GUI客户端可以使用，

LLM:Large Language Model（大型语言模型）是一种使用深度学习算法和大量的语言数据来生成人类语言的模型。这些模型可以像人类一样理解和生成语言，并且在许多自然语言处理任务中表现出色，如机器翻译、语言生成、对话系统等。ChatGPT就是一个非常知名的大型语言模型，具有非常强大的自然语言生成能力。大型语言模型（LLM）的原理是基于深度学习的神经网络技术，通过训练模型来学习自然语言的语

作为一个经常写代码的程序员，我深深体会到这个概念有多香。想想看，不用配环境、不用担心电脑配置，打开浏览器就能 coding，这不就是我们梦寐以求的开发体验吗？最爽的是，云端 IDE 让我的开发方式变得超级灵活。简直不要太香 - 地铁上掏出手机看看代码，午休时用平板改改 bug，回到家用电脑继续开发，所有代码状态都完美同步。再也不用担心"诶呀，那段代码是不是忘在公司电脑上了"这种问题。而且的特性简直

使用Qwen千问大模型和LangChain框架构建高效的RAG系统，从海量数据中提取信息并生成精确回应。检索增强型生成（RAG）技术的出现，让AI不仅能够生成类人文本，还能实时整合相关信息，提供既丰富又精确的回应。本文带大家了解如何使用Qwen千问大模型和LangChain框架来构建一个高效的RAG系统。包括导入必要的库和安全地管理敏感信息，比如API密钥。让我们开始搭建这个系统的基础。首先，我们

是一种视觉优先的RAG引擎，强调基于视觉的检索技术。它通过视觉语言模型集成视觉和文本数据，增强了传统的检索增强生成 (RAG) 系统。VARAG支持多种检索技术，针对不同用例进行了优化，包括文本、图像和多模式文档检索。简单 RAG（检索增强生成）是一种高效而直接的方法，用于从文档中提取文本并将其输入到检索管道中。VARAG通过整合了光学字符识别 (OCR)，从而可以处理和索引扫描的PDF或图像。V

RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条相关的文档片段。再将这些检索到的片段作为额外的上下文信息，输入到生成模型中，从而生成更为准确和信息丰富的文本。RAG的工作原理可以分为以下几个步骤：1.接收

在今年的敏捷团队建设中，我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢？由此我的Runner探索之旅开始了！