Iceberg0.12预研本次预研场景主要为kafka=>flink sql=>iceberg=>hive=>hdfs=>trino(presto)本次预研使用组件如下：名称 版本 描述flink 1.12.1 通过parcel包部署于cdh6.3.2中cdh 6.3.2 开源版本hive 2.3.7 包含cdh中（更换jar升级替换）hadoop 3.0.0 cdh

一、概述分片是一种在多台机器上分配数据的方法。MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作。有两种解决系统增长的方法：垂直扩展和水平扩展。垂直扩展涉及增加单个服务器的容量，例如使用更强大的CPU，增加更多RAM或增加存储空间量等。介于硬件成本和硬件性能单机器能支持的并发访问和存储容量是有限的。因此，垂直扩展是存在最大上限的。水平扩展包括将系统数据集和负载分配到多个服务器...

nginx 开启高效文件传输模式(1) sendfile 参数用于开启文件的高效传输模式，该参数实际上是激活了 sendfile() 功能，sendfile() 是作用于两个文件描述符之间的数据拷贝函数，这个拷贝操作是在内核之中的，被称为 "零拷贝" ，sendfile() 比 read 和 write 函数要高效得多，因为 read 和 write 函数要把数据拷贝到应用层再进行操作(2...

Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。DataSet一、Source算子1. fromCollectionfromCollection：从本地集合读取数据例：valenv=ExecutionEnvironment.g

undertow默认配置情况下，官方默认配置的是 CPU核数*8，比如8核CPU，实际工作线程数也就8*8=64，这个配置对于高并发场景来看，一台8核CPU的机器一般内存都会32G或以上，即使跑满64线程，占用的资源远远无法充分利用该机器的性能。......

一直觉得星型和雪花型差不多，今天特意去网上搜了一下，看到一篇说的特别好的文章转发过来大家共同学一下。一、概述在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，如图 1 。...

前言:       去年10月份建了一个python技术群，到现在为止人数已经涨到700人了。最一开始我经常在群里回应大家的问题，不管是简单还是困难的，我都会根据自己的经验来交流。 让人新奇的是一些初学者关注最多的话题不是怎么学好python，反而是高并发，高性能这类高大上的话题。       记得有次几个不懂网络io、io多路复用含义网友，居然在群里吵了有半个小时，说出来的理论实

当网站访问量达到一定时，如何做Memcached集群，又如何高可用，是接下来要讨论的问题。有这么一段文字来描述“Memcached集群”Memcached如何处理容错的？不处理！:) 在memcached节点失效的情况下，集群没有必要做任何容错处理。如果发生了节点失效，应对的措施完全取决于用户。节点失效时，下面列出几种方案供您选择：* 忽略它！ 在失效节点被恢复

Apache MINA 2 是一个开发高性能和高可伸缩性网络应用程序的网络应用框架。它提供了一个抽象的事件驱动的异步 API，可以使用 TCP/IP、UDP/IP、串口和虚拟机内部的管道等传输方式。Apache MINA 2 可以作为开发网络应用程序的一个良好基础。下面将首先简单介绍一下 Apache MINA 2。Apache MINA 2 介绍Apache MINA 是 Apa

django 执行 uwsgi进行自动删除进程id并进行重启  防止多个进行 导致服务器挂掉最近使用django+uwsgi+虚拟机（ubuntu），每次进行uwsgi重启的时候都会增加一个进程的，导致自己的mysql无意间挂掉了，莫名其妙，结果才发现，有大量的uwsgi的进程，但是每次启动的时候都去删除，手动肯定很麻烦，于是自己就google后，写了一个自己的脚本。脚本如下，仅供