之前使用的是 window直接运行的 docker镜像，直接运行，后来在mac m4电脑上运行的时候，发现docker 镜像一个是不兼容，另外一个是m4 苹果芯片不能简单实用gpu进行训练。ok，启动完成 enjoy it。因此考虑本地启动项目进行训练。环境 mac m4 air。

本文介绍了如何使用Docker Compose部署PostgreSQL与ClickHouse集成环境。通过pg_clickhouse扩展实现PostgreSQL访问ClickHouse数据，包含三个主要步骤：1) 使用Docker Compose启动PostgreSQL(pg_clickhouse)和ClickHouse服务；2) 在ClickHouse中创建taxi.trips表并导入NYC出租

本文系统梳理了大数据技术架构的关键要素。首先介绍了大数据技术栈的模块划分，包括数据采集、传输、计算和存储等环节。重点分析了Lambda和Kappa两种主流架构的特点：Lambda架构具有良好容错性但存在双系统问题，Kappa架构通过流批一体化解决了这一痛点。文章详细剖析了当前大数据开发中的7大痛点，如缺乏统一IDE、标准建模体系缺失等，并提出了整体解决方案：通过元数据平台、流批统一计算引擎、智能查

收藏书籍位于百度云盘中，感兴趣的可以自行下载链接:https://pan.baidu.com/s/1bq7qvnx 密码:uwx6kindle书籍分享链接:https://pan.baidu.com/s/1lcxwlJCmhaDmDwtAEN6XqA 密码:auzn如果小伙伴有比较好的书籍，欢迎留言...

贝壳DMP平台通过统一埋点规范收集用户线上线下行为数据，构建主题宽表实现用户数据归一，利用Spark、HBase等技术实现海量数据处理和实时画像计算。平台采用ClickHouse、MongoDB等多存储方案，支持秒级人群预估和分钟级复杂计算，提供标签管理、人群圈定、精准推送等功能。经过两年发展，该平台已广泛应用于广告投放、个性化推荐等场景，显著提升用户精细化运营效果。未来将持续优化标签深度、效果提

消息队列应用场景：异步处理、应用解耦、流量消峰。

文章摘要： 在使用Docker Compose配置MySQL 8.0服务时遇到容器启动失败问题。当使用卷名"hive-metastore-data"时出现MySQL系统表缺失错误（如mysql.plugin表不存在），而使用"hive_metastore_data"则正常。错误日志显示MySQL无法打开系统表，提示需要进行升级操作。该问题可能与卷名称中的连字

之前部署了单节点环境这里我们使用最新的镜像elasticsearch:9.0.4来部署下集群，目前自己学习中暂时没用logstash 就没有添加这个服务。

本文介绍了如何使用Docker Compose部署PostgreSQL与ClickHouse集成环境。通过pg_clickhouse扩展实现PostgreSQL访问ClickHouse数据，包含三个主要步骤：1) 使用Docker Compose启动PostgreSQL(pg_clickhouse)和ClickHouse服务；2) 在ClickHouse中创建taxi.trips表并导入NYC出租

大数据面试之Oozie1.Oozie1.1 Oozie介绍说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同进步。1.Oozie1.1 Oozie介绍大数据协作框架三大功能- Oozie Workflow jobs ：工作流任务，可以生成DAG图- Oozie Coordinator