1**.可以利用大量的无标注数据来训练一个通用的模型，然后再用少量的有标注数据来微调模型，以适应特定的任务**。这种预训练和微调的方法可以减少数据标注的成本和时间，提高模型的泛化能力;目前的Large LM的训练范式还是在大规模语料上做自监督学习，很显然zer0-shot性能更好的decoder-only架构才能更好的利用这些无标注的数据。，例如如何理解和控制模型的行为、如何保证模型的正确性和稳定

困难挑战：模型部署成本高，为追求50ms以内的极致性能，量化逐渐成为LLM模型的刚需工具能力：提供低成本、高精度量化的最佳实践；支持w8a8/w816/w4a16/ KVcache int8 的系统性、自动化量化压缩，精度损失<1%

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的

最近看论文看到一篇多模态大模型相关的，《MonkeyOCR: Document Parsing with aStructure-Recognition-Relation Triplet Paradigm》是一种基于构造-识别-关系三元组范式的文档分析模型。

控制台出现相关日志，无报错，通过http：//ip地址即可进行访问，出现以下地址即说明成功。首先修改镜像的内容，我们这里修改为v0.18.0。如果服务器有配置Dify，.env文件的。主要修改端口的相关映射。

困难挑战：模型部署成本高，为追求50ms以内的极致性能，量化逐渐成为LLM模型的刚需工具能力：提供低成本、高精度量化的最佳实践；支持w8a8/w816/w4a16/ KVcache int8 的系统性、自动化量化压缩，精度损失<1%

昇腾推理引擎：快速迁移、高效压缩、调试调优、服务对接。

效果如下：关键是写好提示词。

我们搭建了一个Agent的知识库问题，希望调用接口进行返回，但是Agent模型只支持streaming格式，不支持blocking模式。而流式输出是字节码，我们是不能直接看懂它的意思，因此需要通过下面代码去实现转换。

如果遇到这个错误：Error response from daemon: Get “