logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

[iceberg]3-spark调用iceberg入口分析

以sql调用来分析:[hadoop@10 ~]$ spark-sql --masterlocal\--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \--conf spark.sql.catalog.spark_catalog=org.apache.iceber

文章图片
#spark
springboot(shiro)+vue(axios)跨域问题记录

1. 通用设置一旦前后端分离,就涉及到跨域问题(域名、端口、协议(http或https等)其一不一样就是跨域)。在涉及到跨域问题时,浏览器发送请求前,会优先发送一个OPTION请求。所以,对于springboot项目,只需要自定义一下web过滤器即可。/*** 解决跨域问题*/@Configurationpublic class WebConfig extends WebMvc...

quartz详解2--jobDataMap

1. Job 和 JobDetail1. Job 和 JobDetail

[iceberg]2-hivecatalog

spark-sql --master local \--driver-java-options "-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5060" \--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessio

#sql
记一次HDFS死锁问题的排查

背景离线HDFS集群在执行hdfs dfsadmin -refreshNamenodes hostname:50020向新的NameSpace注册的过程中,出现>10个DataNode节点发生死锁的情况,发生概率约1‰。本文用于记录该问题的排除过程及解决办法。基础回顾java中,无论是使用synchronized关键字隐式地获取锁再释放锁,还是使用Lock接口(以及相关实现类)显示地调用lo

#hadoop
zookeeper安装

zookeeper官网下载:wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz

#zookeeper
quartz详解3-Trigger

1. TriggerTrigger对象用来告诉调度程序作业什么时候触发。即触发执行job。

SpringMVC最小依赖+Junit单元测试+log解析(log4j及log4j2)

参考文献:http://blog.51cto.com/983836259/1864248这里除了Spring以及其他模块所需要的jar包之外,还需要引入:spring-test-4.2.3.RELEASE.jarjunit-4.10.jar在maven中如下即可(版本管理略):<!--junit 测试--

#java#spring#junit +1
java架构之项目结构(entity / DTO / VO)

定义类的讲究定义类的讲究

#java
java架构之项目结构(entity / DTO / VO)

定义类的讲究定义类的讲究

#java
    共 17 条
  • 1
  • 2
  • 请选择