logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Salesforce开源多模态模型BLIP3-o!图像理解/生成双SOTA,代码/权重/数据集全开放

BLIP3-o 是一个创新的多模态模型,结合了自回归模型和扩散模型的优势,实现了图像理解与生成的双重突破。其核心特点包括自回归与扩散模型的结合、CLIP 特征扩散、顺序预训练策略、流匹配损失函数以及基于 GPT-4o 的指令调整数据集。BLIP3-o 支持多种多模态任务,如文本到文本、图像到文本、文本到图像、图像到图像以及混合训练。为了推动研究发展,BLIP3-o 的代码、模型权重和数据集已全部开

文章图片
#人工智能
Dify智能体平台源码二次开发笔记(3) - 智能体API的三方验证集成

本文记录了Dify智能体平台源码二次开发中API安全验证的改造过程。针对前端直接调用API的安全隐患,我们重构了默认的API Key验证方式,通过集成三方平台登录token实现双重认证。文章详细介绍了如何改造wraps.py核心验证逻辑,将原有简单的API Key验证升级为"Bearer 智能体名+三方token"的复合验证模式,并保持与Redis缓存验证的集成,最终在不影响性能的前提下显著提升了

#人工智能
Dify智能体平台源码二次开发笔记(6) - 优化知识库pdf文档的识别

dify的1.1.3版本知识库pdf解析实现使用pypdfium2提取文本,主要存在以下问题:1. 文本提取能力有限,对表格和图片支持不足。2. 缺乏专门的中文处理优化。3. 没有文档结构分析。4. 缺少文档质量评估。建议优化方案:1. 使用pdfplumber替代pypdfium2。2. 增加OCR支持 。3. 优化中文处理逻辑。4. 添加文档结构分析。5. 实现智能表格识别。6. 增加缓存机制

文章图片
#人工智能
Dify智能体平台源码二次开发笔记(7) - 优化知识库pdf识别(2)

补充前篇的一些优化。场景是识别pdf文档,但还需要把pdf文档中的图片也保存下来,在知识库增强检索的时候,直接可以显示图片。

#人工智能
Dify智能体平台源码二次开发笔记(1) - 分布式服务部署优化版

本文详细介绍了Dify智能体平台的源码二次开发与分布式服务部署方案,重点阐述了核心架构配置与关键优化点。主要内容包括主服务模块(API/Worker/Web)和辅助服务(Sandbox/Plugin Daemon)的部署方式,以及Redis、PostgreSQL、Milvus和MinIO等关键中间件的配置方法。特别强调了将默认的Weaviate向量数据库替换为支持十亿级数据的Milvus,文件存储

#人工智能
Dify智能体平台源码二次开发笔记(2) - 源码调试、打包及部署指南

本文记录了Dify智能体平台源码二次开发过程中的关键环节,重点介绍调试配置、镜像构建与部署实施的具体操作。文章详细说明了本地调试所需的环境变量配置,包括缓存、数据库、文件存储、向量数据库等服务的连接参数。在构建环节,提供了从源码编译Docker镜像到推送至Harbor私有仓库的完整操作流程。最后简要说明了使用Docker Compose部署更新后的服务,帮助开发者快速将二次开发成果投入实际应用环境

#人工智能
Dify智能体平台源码二次开发笔记(1) - 分布式服务部署优化版

本文详细介绍了Dify智能体平台的源码二次开发与分布式服务部署方案,重点阐述了核心架构配置与关键优化点。主要内容包括主服务模块(API/Worker/Web)和辅助服务(Sandbox/Plugin Daemon)的部署方式,以及Redis、PostgreSQL、Milvus和MinIO等关键中间件的配置方法。特别强调了将默认的Weaviate向量数据库替换为支持十亿级数据的Milvus,文件存储

#人工智能
Dify智能体平台源码二次开发笔记(7) - 优化知识库pdf识别(2)

补充前篇的一些优化。场景是识别pdf文档,但还需要把pdf文档中的图片也保存下来,在知识库增强检索的时候,直接可以显示图片。

#人工智能
Dify智能体平台源码二次开发笔记(3) - 智能体API的三方验证集成

本文记录了Dify智能体平台源码二次开发中API安全验证的改造过程。针对前端直接调用API的安全隐患,我们重构了默认的API Key验证方式,通过集成三方平台登录token实现双重认证。文章详细介绍了如何改造wraps.py核心验证逻辑,将原有简单的API Key验证升级为"Bearer 智能体名+三方token"的复合验证模式,并保持与Redis缓存验证的集成,最终在不影响性能的前提下显著提升了

#人工智能
Dify智能体平台源码二次开发笔记(6) - 优化知识库pdf文档的识别

dify的1.1.3版本知识库pdf解析实现使用pypdfium2提取文本,主要存在以下问题:1. 文本提取能力有限,对表格和图片支持不足。2. 缺乏专门的中文处理优化。3. 没有文档结构分析。4. 缺少文档质量评估。建议优化方案:1. 使用pdfplumber替代pypdfium2。2. 增加OCR支持 。3. 优化中文处理逻辑。4. 添加文档结构分析。5. 实现智能表格识别。6. 增加缓存机制

文章图片
#人工智能
到底了