【注意】：1）、Oracle数据库支持full join，mysql是不支持full join的，但仍然可以同过左外连接+ union+右外连接实现2）、自然连接：通过MySql自己的判断完成连接过程，不需要指定连接条件。MySql会使用表内的，相同的字段，作为连接条件。自然连接分为内外之分。0、初始化SQL语句:/*join 建表语句*/drop...

关键字：spark mllib、文本分类、朴素贝叶斯、naive bayes文本分类是指将一篇文章归到事先定义好的某一类或者某几类，在数据平台的一个典型的应用场景是，通过爬取用户浏览过的页面内容，识别出用户的浏览偏好，从而丰富该用户的画像。本文介绍使用Spark MLlib提供的朴素贝叶斯（Naive Bayes）算法，完成对中文文本的分类过程。主要包括中文分词、文本表示（TF-IDF）、模型训练

Win10下python 2.7与python 3.7双环境安装教程1、python软件下载网址：https://www.python.org/downloads/windows/2、 安装python2.7.16第一步双击安装包，选择你要安装的路径第二步默认next，这里不能配置环境变量，只能安装好后手动配。点击finish安装完成。这样python2和...

 前向传播算法(Forward propagation)与反向传播算法(Back propagation)以及sigmoid函数介绍虽然学深度学习有一段时间了，但是对于一些算法的具体实现还是模糊不清，用了很久也不是很了解。因此特意先对深度学习中的相关基础概念做一下总结。先看看前向传播算法(Forward propagation)与反向传播算法(Back propagation)，sigmoid函数

mac,键盘失灵——一直在mac上开发，昨天下午却遇到了部分数字键盘（7，8，9）和字母键盘（u，i，l，k，j，m）失灵的问题，被折磨了好久，终于找到了解决方案——系统偏好设置-->辅助功能-->鼠标与触控板-->把“启用鼠标键”这个按钮去掉勾选（如果被勾选的话），失灵键盘瞬间变好啦

CASE WHEN 及 SELECT CASE WHEN的用法（1）Case具有两种格式。简单Case函数和Case搜索函数。1）、简单Case函数CASE sexWHEN '1' THEN '男'WHEN '2' THEN '女'ELSE '其他' END2）、Case搜索函数 CASE WHEN sex = '1' THEN '男' WHEN sex = '...

文章目录一、前言二、数仓建模三、数仓分层四、数仓的基本特征五、数据仓库用途六、数仓分层的好处七、如何分层一、前言现在说数仓，更多的会和数据平台或者基础架构搭上，已经融合到整个基础设施的搭建上。这里呢，我们不说Hadoop各种组件之间的配合，我们就简单说下数仓分层的意义价值和该如何设计分层。二、数仓建模说到数仓建模，就得提下经典的2套理论：范式建模Inmon提出的集线器的自上而下（EDW-DM）的数

使用到的语法：ROW_NUMBER() OVER(PARTITION BY COL1 ORDER BY COL2)简单的说row_number()从1开始，为每一条分组记录返回一个数字，这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序，再为降序以后的每条xlh记录返回一个序号。表示根据COL1分组，在分组内部根据 COL2排序，而此函数计算的..

理解维度数据仓库——事实表、维度表、聚合表一、事实表在多维数据仓库中，保存度量值的详细值或事实的表称为“事实表”。一个按照州、产品和月份划分的销售量和销售额存储的事实表有5个列，概念上与下面的示例类似。SateProductMouthUnitsDollarsW...

Spark任务的core，executor，memory资源配置方法1、概述执行Spark任务，资源分配是很重要的一方面。如果配置不准确，Spark任务将耗费整个集群的机缘导致其他应用程序得不到资源。怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑：数据量任务完成时间点静态或者动态的资源分配上下游应用2、Spark应用当中术语的基本定义：Partiti