logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Apache Airflow 第五章:行业案例与创新场景

摘要 本文探讨了Airflow在电商、金融、医疗及DevOps领域的应用。在电商行业,Airflow优化实时数据流水线,通过动态任务调度缩短数据看板延迟;金融领域利用其优先级队列和合规审计功能提升风控系统效率;医疗行业通过自定义Operator实现跨系统数据同步,满足HIPAA/GDPR要求;DevOps中,Airflow的事件驱动编排能力超越传统CI/CD工具,支持热部署与动态任务生成。案例显示

#apache
Apache Airflow 第四章:生态扩展与插件开发

从“工具使用者”到“架构设计者”的思维跃迁,是每一位 Airflow 开发者必须经历的成长路径。通过本文的实践指导,读者已掌握了插件开发的核心方法论,包括官方 Operators 的深度用法、自定义插件的开发规范以及与第三方生态的整合策略。随着 Airflow 3.0 的临近,其生态将进一步向 Serverless、事件驱动和 AI 自动化方向演进。

#apache
Apache Airflow 第三章:生产环境实战

Airflow生产环境优化实践 Apache Airflow在生产环境中的优化涉及多个关键环节。Kubernetes部署方面,建议采用Helm Chart标准化配置,结合StatefulSet和Deployment混合架构,并权衡多Master架构与单节点扩展的优劣。任务队列优化中,需根据业务需求选择Redis(高吞吐/低延迟)或RabbitMQ(高可靠性),并实施队列分区和优先级策略。元数据库性

#apache
Mineru 智能文档解析引擎-快速上手

MinerU是一款专注于科技文献处理的PDF解析工具,能够将PDF转换为Markdown、JSON等机器可读格式。该工具具备智能排版解析、公式/表格识别转换、多语言OCR支持等功能,并支持多种输出格式和可视化结果。MinerU支持CPU/GPU加速,兼容Windows/Linux/macOS平台,提供pip安装、源码编译和Docker部署三种安装方式。项目特别针对科技文献中的符号转化问题进行了优化

Mineru 智能文档解析引擎-快速上手

MinerU是一款专注于科技文献处理的PDF解析工具,能够将PDF转换为Markdown、JSON等机器可读格式。该工具具备智能排版解析、公式/表格识别转换、多语言OCR支持等功能,并支持多种输出格式和可视化结果。MinerU支持CPU/GPU加速,兼容Windows/Linux/macOS平台,提供pip安装、源码编译和Docker部署三种安装方式。项目特别针对科技文献中的符号转化问题进行了优化

Apache Airflow 第一章:入门与基础实践指南

Apache Airflow 是一个开源的工作流调度与任务编排平台,通过Python代码定义任务依赖关系(DAG),实现复杂数据流水线的自动化管理。它提供可视化界面、动态依赖解析和丰富的生态系统集成能力,相比传统调度工具(如Cron)具有明显优势。本文介绍了Airflow的核心功能、设计哲学、安装部署方法,并通过代码示例展示了如何创建第一个DAG。Airflow适用于ETL数据管道调度、机器学习模

#apache
一、LLM 大语言模型初窥:起源、概念与核心原理

从AI 1.0到AI 2.0的变迁,本质是技术从“专用工具”向“通用智能平台”的质变。大模型通过参数规模、模态融合与训练效率的突破,重构了技术范式、产业生态与人机关系。未来,AI将不仅是效率工具,更是推动社会生产力跃迁的核心引擎,其发展需在技术创新与伦理治理间寻求动态平衡。生成式模型是一类能够通过算法学习数据分布,并基于此生成新数据的人工智能技术。它的核心在于从已有数据中提取模式,创造出与训练数据

文章图片
#语言模型#人工智能
Linux uname -a 区分Linux服务器处理器的架构 ARM or AMD

用 uname -a 命令可以查看Linux系统的内核信息,包括处理器架构类型。对于处理器架构,主要看返回字符串中的关键字,它们通常出现在描述系统架构的部分。

文章图片
#linux#arm开发#运维
Docker 端口映射与容器互联

使用自定义网络可以使容器之间更加安全和便捷地进行通信。

文章图片
#docker
到底了