logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

成为一名大数据平台SRE需要具备哪些技能?

领域核心技能大数据平台Hadoop/HDFS/YARN、Spark/Flink、Hive/HBase、Kafka、数据湖SRE方法论SLO/SLA、自动化运维、混沌工程、故障排查、容量规划编程Python/Shell/Java、SQL、分布式计算框架开发系统基础Linux、网络协议、分布式系统理论软技能跨团队协作、文档编写、技术方案设计通过技术深度(如精通Flink原理)工程实践(如落地自动化监控

#大数据
Caused by: java.lang.ClassNotFoundException: com.ververica.cdc.debezium.DebeziumDeserializationSchem

该问题的核心是类路径缺失或版本不兼容,需依次排查依赖配置、构建环境、部署流程及版本匹配。

文章图片
#java#flink
文章图片
本地部署大模型的方式有哪些

本地部署大模型的方式

文章图片
说说使用AI或者大模型主动分析大数据组件的warn和error日志有什么价值

传统日志分析是 “日志产生→人工排查→故障修复” 的被动流程,而 AI / 大模型构建了 “日志实时采集→AI 降噪 / 关联 / 预测→主动告警 / 自动预处理→故障根因定位→业务影响评估→解决方案推荐→案例沉淀迭代” 的主动闭环。其最终价值不仅是 “提高运维效率”,更是通过 “预防故障、减少中断、优化资源”,为大数据驱动的业务(如实时推荐、数据分析、AI 训练)提供稳定、可靠的底层支撑,间接提

文章图片
#人工智能#大数据
使用shell脚本读elasticsearch,写msyql

通过这个shell脚本,你可以实现(基础)的 ES 到 MySQL 数据迁移,生产环境其实不建议使用shell。

文章图片
#elasticsearch#大数据
随着AI和大模型的发展,大数据领域底层技术人员该何去何从,可以向AI和大模型领域的哪些岗位转移

大数据底层技术人员向AI领域的迁移不是简单的技能转换,而是将分布式系统、海量数据处理等核心能力在AI技术栈中的价值重构。重点在于发现传统技术在新场景中的隐喻式应用——例如将HDFS的机架感知策略转化为GPU集群的拓扑感知调度。建议采取"以战养战"策略,在开源社区(如参与Colossal-AI项目)或企业创新项目中寻找改造现有技术的机会,逐步完成从数据工程师到AI系统架构师的跃迁。最终核心竞争力将体

文章图片
#人工智能#大数据
    共 22 条
  • 1
  • 2
  • 3
  • 请选择