spark执行过程优化------将spark运行的jar包上传到HDFS上，避免在提交任务时因为spark程序包过大导致的占用运行时间和cpu资源起因是在提交spark任务的时候，因为服务器处于离线状态，好多的依赖包无法通过网络进行下载，所以打成的spark程序包比较大，大概在200~300MB之间，每次通过spark-on-yarn提交任务时，总是有一段时间将本地的spark程序上传到hdfs

sqoop（一）数据库数据导入hive将达梦数据库数据导入到hive将达梦数据库的驱动放到sqoop安装路径下的lib路径下（其他数据库同样操作）sqoop命令是：sqoop import --driver dm.jdbc.driver.DmDriver --connect \jdbc:dm://192.168.xx.xx:xxxx/METACENTER\--username XXXXX\--pa

docker错误：Error response from daemon: No command specified记录一次docker 加载镜像启动后，出错的问题。操作记录：在执行docker save -o xxx.tarxxx时，没有使用镜像的名字加版本号的方式，而是采用了镜像id的方式，这样虽然同样可以保存镜像，但是造成了下面的问题。转移到另一台机器，执行docker load -i xxx

springboot jpa连接达梦数据库

项目结构是。

springboot Invalid character found in the request target.The valid characters are defined in RFC 7230 and RFC3986在项目启动后，发送请求时，报以下错误，错误信息是Invalid character found in the request target.The valid charact

springboot jpa连接达梦数据库

dremio连接国产化达梦数据库1.git项目地址https://github.com/beidouyunyun/dremio-dameng-connector.git2.修改事项修pom文件中的dremio的版本，具体的版本号可以通过dremio前端页面的help选项进行查看，修改位置如图：3.安装将编译后的jar包上传到dremio安装目录下的jars文件夹下，并将达梦数据库的驱动上传到jar

springboot jpa连接达梦数据库