- @weixin_48370579
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
2 .项目构建(实时计算框架和监控kafka,flink的工具)注意：因为我的是分布式，有些配置和伪分布式稍微有以写不同(千万注意)在我们一个一个启动下面的进程的时候，我们应该时刻关注内存使用情况 top2.1、框架版本hadoop 2.7.6hive 1.2.1zookeeper 3.4.6hbase 1.4.6kafka 1.0.0Flink 1.1...
CSS布局-定位，相对，绝对，子绝父相。目录CSS布局-定位，相对，绝对，子绝父相。1、定位1.1 网页常见布局方式1.2 定位的常见应用场景2.1 定位初体验2.2 使用定位的步骤3.1 静态定位4.1 相对定位5.1 绝对定位5.2 绝对定位到底相对于谁进行偏重点6.1 子绝父相介绍7.1 固定定位8.1 元素层级问题8.2 更改定位元素的层级重点学习目标◆ 能够说出 定位 的常见应用场...
阿里云开源离线同步工具DataX3.0一. DataX3.0概览DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据...
1.8.7 Spark与Iceberg整合写操作1.8.7.1 INSERT INTO"insert into"是向Iceberg表中插入数据，有两种语法形式："INSERT INTO tbl VALUES (1,"zs",18),(2,"ls",19)"、"INSERT INTO tbl SELECT ..."，以上两种方式比较简单，这里不再详细记录。1.8.7.2 MERGE INTO...
Spark3.1.2与Iceberg0.12.1整合Spark可以操作Iceberg数据湖，这里使用的Iceberg的版本为0.12.1，此版本与Spark2.4版本之上兼容。由于在Spark2.4版本中在操作Iceberg时不支持DDL、增加分区及增加分区转换、Iceberg元数据查询、insert into/overwrite等操作，建议使用Spark3.x版本来整合Iceberg0.12..
1、数据仓库搭建数据仓库搭建前提条件，Hadoop，hive数据仓库分层作用1、控制数据访问权限2、减少重复计算，减少重复开发3、为了更好的管理数据4、让表使用者更方便使用数据数据规范1、分词规范，ODS,DWD,DWS,ADS,DIM，每个公司分层的方式是不一样的，2、命令规范，库命名规范：每一个层对应hive中一个库，每一层对应hdfs中一个目录表命名规范，每个定义...
spark streaming实时计算的案例数据{"car":"皖A9A7N2","city_code":"340500","county_code":"340522","card":117988031603010,"camera_id":"00001","orientation":"西南","road_id":34052055,"time":1614711895,"speed":36.3...
spark DSLDSL的数据来源package com.sqlimport org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}object Demo4DataSource {def main(args: Array[String]): Unit = {val spark: SparkSession = S...
在hive中造数据1 . 创建表单分区表CREATE TABLE <table_name> (<column> <data_type>, <column> <data_type>, ...)CLUSTERED BY (<bucket_key>) INTO <n> BUCKETS单值分区表CRE...
javaweb-day1:20221013从JavaWEB开始。(Servlet为核心，从Servlet开始学习。)JSP(JSP使用较少了，但是还有用，所以时间上少一些。快速地学习一下JSP。)AJAX(异步通信技术。)jQuery(JavaScript库。)MyBatisSpringSpringMVCSpringBootSpringCloud…Servlet关于...