logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

clickhouse数据处理方式之--增删改

ClickHouse 数据表的增删改 - 古明地盆 - 博客园 (cnblogs.com)https://www.cnblogs.com/traditional/p/15218693.html

#database#clickhouse
海量数据处理 - 10亿个数中找出最大的10000个数(top N问题)

前两天面试3面学长问我的这个问题(想说TEG的3个面试学长都是好和蔼,希望能完成最后一面,各方面原因造成我无比想去鹅场的心已经按捺不住了),这个问题还是建立最小堆比较好一些。先拿10000个数建堆,然后一次添加剩余元素,如果大于堆顶的数(10000中最小的),将这个数替换堆顶,并调整结构使之仍然是一个最小堆,这样,遍历完后,堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O(ml

#算法#大数据#java +1
flink运行报错:java.lang.NoClassDefFoundError: org/apache/flink/api/java/......

idea运行flink类,报错:java.lang.NoClassDefFoundError: org/apache/flink/api/java/DataSetCaused by: java.lang.ClassNotFoundException: org.apache.flink.api.java.DataSet原因:项目默认配置的依赖项的作用域(Scope)都被设置为Provided解决:R

#flink
clickhouse查询分布式表报错无权限

如图:clickhouse查询分布式表报错无权限网上资料甚少,折腾好久,改了好多配置,最终定位是这个配置:/etc/clickhouse-server/metrika.xml添加上用户名和密码,便可有权访问分布式表了。

文章图片
#clickhouse
大数据操作之hive对json数据进行处理

原始json数据:[{"website":"www.it.cn","name":"helloword"},{"website":"cloud.it.com","name":"carbondata 中文文档"}]--第一步操作 把json数组中元素的分隔符 从,替换成为; 避免切割的时候产生歧义语句:select regexp_replace('[{"website":"www.i...

机器学习算法的PCA思想

PCA顾名思义,就是找出数据里最主要的方面,用数据里最主要的方面来代替原始数据。具体的,假如我们的数据集是n维的,共有m个数据(x(1),x(2),...,x(m))。我们希望将这m个数据的维度从n维降到n'维,希望这m个n'维的数据集尽可能的代表原始数据集。我们知道数据从n维降到n'维肯定会有损失,但是我们希望损失尽可能的小。PCA的算法步骤:设有m条n维数据。1)将原始数据按列组成n行m列矩阵

#机器学习
python读取文件获取其中一行的数据

test.txt文件CCCF110 0003E818 0003E1FC 0003E770 0003FFFC 12CCCF110 0003E824 0003E208 0003E76C 0003FFFC 8ACCCF110 0003E814 0003E204 0003E760 0003FFFC 80CCCF110 0003E7F0 0003E208 0003E764 0003FFFC 14CCCF11

机器学习算法的PCA思想

PCA顾名思义,就是找出数据里最主要的方面,用数据里最主要的方面来代替原始数据。具体的,假如我们的数据集是n维的,共有m个数据(x(1),x(2),...,x(m))。我们希望将这m个数据的维度从n维降到n'维,希望这m个n'维的数据集尽可能的代表原始数据集。我们知道数据从n维降到n'维肯定会有损失,但是我们希望损失尽可能的小。PCA的算法步骤:设有m条n维数据。1)将原始数据按列组成n行m列矩阵

#机器学习
JAVA——实现打印5位数中的所有回文数

题目:编写需求:打印5位数中的所有回文数,并且每行打印5个数。思路:1.循环遍历五位数2.获取每一位五位数的个、十、千、万位3.判断个位与万位相同,十位与千位相同举例: 12321是回文数代码如下:// 记录打印回文数的个数int count = 0;for (int i =...

#java
JAVA——实现数组元素逆序遍历输出

题目:假设有一个长度为5的数组,数组元素通过键盘录入,如下所示:int[] arr = {1,3,-1,5,-2}要求:创建一个新数组newArr[],新数组中元素的存放顺序与原数组中的元素逆序,并且如果原数组中的元素值小于0,在新数组中按0存储。最后输出原数组和新数组中的内容打印格式:请输入5个整数:1...

#java
    共 39 条
  • 1
  • 2
  • 3
  • 4
  • 请选择