1.spark代码如下报错代码为val url = “/root/spark/mydatavipday2.ipdb”db = new City(url);ssc.foreachRDD(rdd => {//对每个RDD的分区的数据进行操作，主要是建立连接，不要每条数据都建立连接val newrdd: Unit = rdd.foreachPartition(it => {//根据Redis

拉链表适合于：数据会发生变化，但是大部分是不变化的（即：缓慢变化维。还需要保留历史数据做分析的场景）

数据可能重多次插入，要求当一条数数据多次插入时，重复的数据做更新操作。建表的时候设置主键索引根据一行的数据生成一个加密后的值，将该值设置为主键列。

1.在项目下创建lib包将外部jar包放入新建的lib目录下面2.本地运行时能够找到引入的jar包点击对应jar包，依次点击OK ----Apply ----- OK，这样在idea里面run的时候就可以找到对应的jar包了。3.如何打包是引入外部jar包引入外部jar坐标<dependency><groupId>tcl.com</groupId><art

1.java代码，结构如下入1.pom.xml文件<!--string和json数据交换转换jar包--><dependencies><dependency><groupId>net.sf.json-lib</groupId><artifactId>json-lib</artifactId><version

1.java代码，结构如下入1.pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http:

1.报错现象外部分区表重新建立后，查询不到数据，hdfs对应的目录是数据的执行MSCK REPAIR TABLE crumb.dwd_t_std_crumb_event_process;修复元数据时，报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask2.报错原因从 Hive 1.3

1.报错Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException:extraneous input '$' expecting {'(', 'SELECT', 'FROM', 'ADD', 'AS', 'ALL', 'ANY', 'DISTINCT', 'WHERE', 'GROUP', 'BY',

1.现象mysql 表的关联或者子查询是报错1267 - Illegal mix of collations (utf8mb4_general_ci,IMPLICIT) and (utf8mb4_unicode_ci,IMPLICIT) for operation ‘=’2.原因sql语句各个表的默认校队字符集不一致导致的报警。通过 show create table table_name语句查看

1.报警现象通过接口读取数据时，报警java.net.SocketTimeoutException: Read timed outat java.net.SocketInputStream.socketRead0(Native Method)at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)at java.net