今天使用Hive时候，由于自己的大意，使得代码报错，报错如下：FAILED: SemanticException Failed to breakup Windowing invocations into Groups.At least 1 group must only depend on input columns.Also check for circular dependencies.我的代

1.数据结构基础2.线性表(顺序存储、链式存储)元素之间是有顺序的：第一个元素无前驱，最后一个元素无后继，其他元素都有前驱和后继顺序存储结构：用一段地址连续的存储单元一次存储线性表的数据元素(存取时间复杂度为O(1)，插入或删除时间复杂度为O(N)，适合数据量不大并且存取操作多的数据)优缺点：链式结构：元素信息+后继元素的地址(读取、插入、删除：时间复杂度O(N))头指针：链表第一...

Python数据分析，一般第一步就是读取数据，这篇详解pandas读取数据read_csv。read_csv函数参数几个常用的参数包括path、sep、header、index_col、names、skiprows、na_values、nrows、skip_footer、encoding。下面主要对这几个参数解释 。读取文件，必要参数path给出文件路径，encoding设置csv...

pandas的describe可以用来展示数据的一些描述性统计信息，因此经常用到。describe的官网参数如下图：使用实例：df = pd.DataFrame(data={'A':list('abaacdadaf'),'B':[2,4,6,3,6,2,5,8,0,2]})percentiles:设置输出的百分位数，默认为[.25，.5，。75]，返回第25，第50...

1.栈的定义栈(Stack)是一种运算受限的线性表，只能在栈顶进行插入和删除操作。因此栈具有Last In First Out(FILO)特性。2.栈的操作a.Stack() 创建一个空的新栈。 它不需要参数，并返回一个空栈。b.push(item)将一个新项添加到栈的顶部。它需要 item 做参数并不返回任何内容。c.pop() 从栈中删除顶部项。它不需要参数并返回 item 。栈被...

贝壳是今年秋招得第一个offer，因此回馈网友，记录一下贝壳得笔试+四面：【笔试】笔试是去公司现场面之前，给的一套题目，包括一下几题：1.找出数据中的错误数据，并给出理由2.贝壳如果去新的城市扩张，需要看哪些指标3.聚类分析有哪几种，说说其中一种得原理以及计算步骤4.一道SQL，需要用到rank()函数即可笔试不刷人，然后直接带着自己做的笔试卷子，去一面【一面】1.万年自我介绍...

摘要前面给大家分享了pandas做数据合并的两篇[pandas.merge]和[pandas.cancat]的用法。今天这篇主要讲的是pandas的DataFrame的轴旋转操作，stack和unstack的用法。首先，要知道以下五点：1.stack：将数据的列“旋转”为行2.unstack：将数据的行“旋转”为列3.stack和unstack默认操作为最内层4.stack和unsta...

摘要数据分析与建模的时候大部分时间在数据准备上，包括对数据的加载、清理、转换以及重塑。pandas提供了一组高级的、灵活的、高效的核心函数，能够轻松的将数据规整化。这节主要对pandas合并数据集的merge函数进行详解。(用过SQL或其他关系型数据库的可能会对这个方法比较熟悉。)1.merge函数的参数一览表2.创建两个DataFrame3.pd.merge()方法设置连接字段。...

数据预处理1.数据清洗1.1缺失值处理1.2异常值处理2.数据集成2.1实体识别2.2冗余属性识别3.数据变换3.1简单函数变换3.2规范化3.3连续属性离散化3.4属性构造3.5小波变换4.数据规约4.1属性规约4.2数值规约1.数据清洗数据预处理一方面是要提高数据质量，另一方面可以让数据更好的适应特定的挖掘技术。统计发现，数据建模过程中，数据预处理工作占了整个工作的60%。数据预处理的过...

贝壳是今年秋招得第一个offer，因此回馈网友，记录一下贝壳得笔试+四面：【笔试】笔试是去公司现场面之前，给的一套题目，包括一下几题：1.找出数据中的错误数据，并给出理由2.贝壳如果去新的城市扩张，需要看哪些指标3.聚类分析有哪几种，说说其中一种得原理以及计算步骤4.一道SQL，需要用到rank()函数即可笔试不刷人，然后直接带着自己做的笔试卷子，去一面【一面】1.万年自我介绍...