模型上下文协议（Model Context Protocol，MCP），是由Anthropic推出的开源协议，旨在实现大语言模型与外部数据源和工具的集成，用来在大模型和数据源之间建立安全双向的连接。想想我们年初的目标，本着是让大模型帮忙打工的，可是玩来玩去都是在那里聊天，一段时间就丢一边了。有了MCP就不一样了，通过MCP，不光是要大模型写代码，还要直接到数据库里面跑起来才算，跑出问题了还要修正，

前言”三分靠技术，七分靠管理“这句话可能大家都听说过，事实上背后是涉及到了一系列的方法论，可能业界听过什么程序猿到了一定年龄就转管理岗这个其实是事实。放到大数据平台治理上，这个完全适用的。我们做一个平台化的治理，需要的衡量清楚局部和整体的关系，做到优化的整体化，而不是追求局部优化。所以不管在任何时候，我们都需要看到我们全局的状况，找出资源大头，再精准打击，首要条件的事情便是资源成本化。大数据平台资

一点前言直接来说，这种很多程序员的梦想~撸了大半辈子的代码，号称可以把宇宙Coding出来，结果到了Excel这块卡主了。我就是想写SQL去查Excel，不喜欢记住那么多Excel操作!好在，我们这个世界变化很快，Excel新的版本号称是支持python的，也准备支持js，不过有个问题是当年一直追随window的程序员因为技术提升有了Mac了，新版本的office目测还收费,en~我在玩Spark

基于Spark Logical Plan Parse ，对Spark 源码的定向改造，打造大数据平台SQL诊断利器

学习机器学习画了一个脑图

前言写标题的时候是2021-07-04 22:22，在那之前我以前一直是想琢磨怎么去扯数仓优化这玩意好点，总是觉得应该来个万字长文啥的才写下来，现在不那样折腾了，想到啥就写点啥，大不了未来再多搞几篇就是了。为啥数仓需要优化这个问题其实在不同的人看是不一样的人员视角高层领导成本过高业务产出慢,无法支撑业务bi乱七八糟的，不知道用啥表开发人员这玩意性能不行数仓人员一样的数据多套，关键还是错的运维同学这

在大数据处理的广袤天地中，Apache Spark 始终是熠熠生辉的存在，宛如一颗璀璨的明星框架，吸引着无数开发者与数据分析师的目光。技术的车轮滚滚向前，Spark 4.0 在万众瞩目中荣耀登场，携带着一系列令人热血沸腾的新特性，如同为大数据领域开启了一扇通往新世界的大门，带来了前所未有的变革。今天，就让我们一同踏上这场探索之旅，深入剖析 Spark 4.0 的全新特性，探寻它们如何为大数据处理的

说起编译hudi，从第一遍过之后，再回过头来看，发现就是第一遍不熟悉，出现的一切问题可以总结为maven仓库没配置好。一开始我只是配置了阿里云仓库，但是后面不断报错，然后百度谷歌找原因，再调整配置，再编译，最后就成功了，所以整体来说编译不复杂，只要配置正确，那我把最后可以通过的配置贴出来，这也是我觉得可以帮助到大部分同学的地方。hudi迭代还是比较快的，因为同时也依赖了hadoop和spark，为

在大数据处理的广袤天地中，Apache Spark 始终是熠熠生辉的存在，宛如一颗璀璨的明星框架，吸引着无数开发者与数据分析师的目光。技术的车轮滚滚向前，Spark 4.0 在万众瞩目中荣耀登场，携带着一系列令人热血沸腾的新特性，如同为大数据领域开启了一扇通往新世界的大门，带来了前所未有的变革。今天，就让我们一同踏上这场探索之旅，深入剖析 Spark 4.0 的全新特性，探寻它们如何为大数据处理的

前言三分靠技术，七分靠管理，其实一直就是技术岗位的现状，事实上在一个完整的互联网产业结构中，除了本身的软件性能和软件设计的优雅追求，还有着业务的持续运营以及背后的商业模式的运作。分析师的工作更多的就是指导业务的运营以及商业上成本的考量，以便为进一步的决策提供数据参考，本文就从一个数据分析师的角度去聊一下数仓的治理。分析框架开局一张图我们说一个数仓的好与坏不是单纯的某个地方的好与坏，而是通过从左看右