这篇文章，真的经历了很长时间，本身对java和电脑的环境变量不熟悉，走了很多弯路，以此记录下安装的新路历程，分享给大家。目录1.在控制台中测试ipython是否启动正常2.安装JDK3.安装Spark并配置环境变量4.Pyspark配置5.测试Pyspark是否安装成功1.在控制台中测试ipython是否启动正常既然要在Anaconda中配置s...

众所周知，ClickHouse中的很多SQL语法和hive、传统数据库不同，本篇博文，是总结一下ClickHouse常用的排序函数和简单用法。1）arrayEnumerate 等同于 ROW_NUMBER2）arrayEnumerateDense 等同于 DENSE_RANK3）arrayEnumerateUniq ，网上有人说：它只返回元素第一次出现的位置。但是，从实验来看，这个函数结果更像是每

在之前博文（https://blog.csdn.net/Jarry_cm/article/details/104914405）中，已经介绍了String和List之间的转换，这篇主要介绍dict和list之间的转换。目录1.List转dict1.1For循环1.2嵌套列表1.3zip函数2.dict转List2.1list函数--取key值2.2li...

Pythoneval() 函数作用：eval() 函数用来执行一个字符串表达式，并返回表达式的值。注意：计算指定表达式的值。也就是说它要执行的python代码只能是单个表达式（注意eval不支持任何形式的赋值操作），而不能是复杂的代码逻辑。语法：eval(expression[, globals[, locals]])参数：expression -- 表达式。globals --...

set是一组数，无序，内容不能重复，通过调用set()方法创建，那么如何对set集合进行遍历呢？1.简单的set：s1 = set(['111', '222', '333'])对于s1，是一组数，有几种方法可以遍历：function1：直接用in的方式遍历set集合。function2：用iter()迭代器来遍历集合看到前两种方法可能有人就有疑问了，为啥和上面写...

工作中，根据场景不同，可能建表方式不同，有时候用like、as方式建表会达到事半功倍的效果，下面是小白总结的三种创建表的方式。1、使用create命令创建一个新表create命令建表，参数不同，也有些许的区别，下面来看一下，创建一个带有分区的表，分区按天，取名为d可以看到分区是用partitioned by方式，指定分区的参数，另外下面的stored as是用来指定存储的...

在用Python进行各种分析的时候，我们会用到各种各样的函数，比如，我们用SQL时，经常使用join、max等各种函数，那么想看Python是否有这个函数，这个时候可能大部分人会百度，那么如何不使用百度，而用Python本身来查找函数，学习函数的用法呢？下面，小白就总结一下自己一些经历~比如，我们在用math模块，但是不知道这个模块下是否有自己常用的函数，那么如何做呢...

1948 年，香农提出了“信息熵”(shāng) 的概念，解决了对信息的量化度量问题。首先，先介绍一下克劳德 • 香农（Claude Shannon, 1916-2001）香农生于美国密歇根州，本科毕业于“美国大学之母”密歇根大学。他儿时崇拜的英雄人物是大名鼎鼎的、造福全人类的美国大发明家托马斯 • 爱迪生（Thomas Alva Edison, 1847-1931），...

hive中有row_number() over (partition by)函数，可以一句SQL实现想要的排序，在ClickHouse中有很多种实现方式，本篇就介绍一下几种方法。目录1.row_number排序2.row_number排序后取出rank=1的结果3.特殊场景1.row_number排序HIVE中写法：select number,row_number() over (partitio

clickhouse有system.parts系统表记录表相关元数据，可以通过该表对clickhouse上所有表进行查询表大小、行数等操作。1.查看数据库容量selectsum(rows) as row,--总行数formatReadableSize(sum(data_uncompressed_bytes)) as ysq,--原始大小formatReadableSize(sum(data_com