二、基本操作1、入门案例(1)批处理wordcount--DataSetval env =ExecutionEnvironment.getExecutionEnvironment// 从文件中读取数据val inputPath ="D:\\Projects\\BigData\\TestWC1\\src\\main\\resources\\hello.txt"val ...

Kafka教程(一)基础入门1.基本概念背景领英->Apache分布式、消息发布订阅系统角色存储系统消息系统流处理平台-Kafka Streaming特点高吞吐、低延迟cg消费不同分区可扩展性(热扩展)持久性、可靠性容错性(n-1个replica)高并发(数千个客户端☆)...

以网约车为模板(逸品出行)〇、前言1、今日内容：需求最重要技术为业务赋能2、明日内容一、项目须知---国家监管要求1、预防做完后悔---------国家监管信息需要符合技术要求计价规则模板/依据政府已经给变量起好名字订单三个状态：发起、成功、取消驾驶员定位信息---做派单3秒收集一次司...

1、数仓架构介绍神策数据：云上数仓：https://www.aliyun.com/solution/datavexpo/datawarehouse2、数仓的输入输出输入系统：用户埋点行为数据、后台产生的业务数据、爬虫数据。输出系统(BI)：报表系统、大屏展示、用户画像系统、推荐系统3、系统流程4、框架选型1)Apache：运维麻烦，需要对组件兼容性进行维护2)CDH：国内使用...

在学习了《算法分析与设计》这门课后，我对常见的算法有了一个基本的了解。本书主要从算法概述、递归与分治策略、动态规划、贪心算法、回溯法、分支限界法、随机化算法、线性规划与网络流、NP完全性理论与近似算法等九个章节对计算机算法进行了介绍，我也将从以下几个方面对算法进行简单概括。第一章--算法概述，主要介绍了算法和程序的定义及组成，以及评价算法优劣的标准--时间复杂度T(n)=O(f(n))和空间复杂度

六、简述kafka的Rebalance【偏向实战，有难度】1、背景kafka日志：在消息量大、高并发时，经常会出现rebalance中rebalance会影响kafka性能，会阻塞partition的读写操作2、了解其机制，以避免rebalance的发生3、Rebalance是什么coordinator：leader节点所在的broker，作为一个协调者，监控cg中消费者的存活，...

select distinctquantity,standard_cost,sum(a.quantity*a.standard_cost) over(partition by purchase_scence_code,raw_material_code) amount,coalesce(purchase_scence_code,'unknown') as pur...

11111111111111111111111

一、大厂职级P7：年薪百万二、大数据发展1、职业路线和岗位角色2、大数据行业发展三、大数据的位置1、热门行业大数据承上启下2、三者关系啤酒和尿不湿：启发可以放在一块3、大数据作用杀熟：卖东西卖的贵反杀熟：卸载自己软件，安装其他软件，推送四、大数据理解1、数据时代IT-DT2、大数据特征ZB，世界所有体量，大概44ZB真实性：数据...

〇、概述1、实现内容使用Hive SQL编程，构造分层离线数仓并可以通过Quick Bi进行展示2、过程(1)数据接⼊到ODS层(2)进⾏ODS到DWD层数据开发(3)进⾏ODS到DIM层数据开发a.创建 【电商_商家维度表_⽇】表b.创建【电商_商品维度表_⽇】表c.创建【电商_⽤⼾维度表_⽇】表(4)进⾏DWS层数据开发(5)进⾏ADS应⽤层的数据开发a.看板_总指...