一、ODS层1、保持数据原貌，不做任何修改2、数据压缩：LZO压缩，减少磁盘空间3、创建的是分区表：可以防止后续的全表扫描包括用户行为：string line dt　　　　 ods_start；ods_event(商品列表、商品详情、点击　　　　　　　　广告...

二、基本操作1、入门案例(1)批处理wordcount--DataSetval env =ExecutionEnvironment.getExecutionEnvironment// 从文件中读取数据val inputPath ="D:\\Projects\\BigData\\TestWC1\\src\\main\\resources\\hello.txt"val ...

一、(MySQL)通过函数/存储过程1、链接https://www.jb51.net/article/207999.htmhttps://blog.csdn.net/FloraCHY/article/details/1177929032、代码-- 进入数据库use test;-- 显示所有表show tables;-- 创建majors表create table majors...

2019年5月更考研考入某非知名211软件工程专业，受数学建模的一些帮助。今日准备再对数学建模进行聊一下。1、数模中的问题更趋向于big data，启发式算法和大数据量的计算越来越常用，组内人员应学会python、R语言等诸多工具，以应对大数据量的处理，并熟练掌握神经网络在matlab下的使用2、论文摘要很重要，格式写对，图片美观，把摘要写的高大上简明扼要一点，更容易获奖3、数模获...

对于数据挖掘、数据仓库和机器学习的联系和区别可以用一句话来表述---“从数据仓库中，利用机器学习等方法来进行数据挖掘”。在当今大数据时代下，除了数据挖掘、数据仓库、机器学习，还有深度学习、人工智能、人机交互等词炒的比较火，下面将对其中的几个进行讲解。本门课程的名字就叫数据挖掘，因此先介绍一下数据挖掘(data mining)。数据挖掘听起来是一个很高大上的词汇，其英文名可以翻译为数据采矿，实际

〇、老师及课程介绍一、今日内容二、实时计算理论解析1、什么是实时计算微批处理、流式处理、实时计算水流和车流的例子spark streaming就是一种微批处理，水满了才处理，进入下一个地方流式计算：没有等待深入：红绿灯交替的场景是微批处理，就不是流式计算了水流的场景是流式计算时：直饮机，自来水直接可以饮用，出水的过程没有停一停等一等其他：水流、视频流、2...

一、(MySQL)通过函数/存储过程1、链接https://www.jb51.net/article/207999.htmhttps://blog.csdn.net/FloraCHY/article/details/1177929032、代码-- 进入数据库use test;-- 显示所有表show tables;-- 创建majors表create table majors...

其他NoSQL概述分类文档存储数据库：MongoDB采用BSON格式完成存储数据和网络数据交换BSON格式：JSON的二进制编码格式逻辑结构包括：数据库、集合(相当于关系数据库的表)、文档(相当于记录)，没有表这种逻辑结构键值存储数据库：Redis、MemCached(分布式内存对象缓存数据库)Redis散列结构适用于对对象进行存储图形存储数据库：Ne...

对于数据挖掘、数据仓库和机器学习的联系和区别可以用一句话来表述---“从数据仓库中，利用机器学习等方法来进行数据挖掘”。在当今大数据时代下，除了数据挖掘、数据仓库、机器学习，还有深度学习、人工智能、人机交互等词炒的比较火，下面将对其中的几个进行讲解。本门课程的名字就叫数据挖掘，因此先介绍一下数据挖掘(data mining)。数据挖掘听起来是一个很高大上的词汇，其英文名可以翻译为数据采矿，实际

一、用户行为数仓.1、数仓分层架构图2、埋点行为数据基本格式(基本字段)"ap":"xxxxx",//项目数据来源 app pc"cm": {//公共字段　　"mid": "",// (String) 设备唯一标识"uid": "",// (String) 用户标识"vc": "1",// (String) versionCode，程...