logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

阿里云搭建大数据平台(5):scala和spark安装和配置

一、scala1.下载scala-2.11.8.tgztar -zxvf /opt/softwares/scala-2.11.8.tgz -C ./2.修改/etc/profilesudo vi /etc/profile添加:export SCALA_HOME=/opt/modules/scala-2.11.8export PATH=$SCALA_HOME/bin:...

#scala#spark
Kettle(一):链接Hive数据仓库

一、环境配置1.CDH 5.15.22.启动hiveserver2确认端口号,默认是10000。自行修改的话,使用自己的。3.Kettle 8.2下载地址:https://community.hitachivantara.com/docs/DOC-1009855二、配置Hive插件相关配置1.下载需要的hadoop jar包(hadoop-common...

#数据库
Flink(1):开发环境的搭建(Java和scala)

一、实现功能流式开发Flink开发环境的搭建。二、实现步骤:Java开发环境【参考官网:https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/projectsetup/java_api_quickstart.html】1.本地环境(1)官网要求Maven 3.0.4 (or higher) and ...

#scala#java
Ansible自动化部署(1):安装部署

一、 实现功能通过Ansible实现自动化部署的功能,简化软件部署耗时,提升软件部署效率。二、 环境1.Centos6.42.Python3.63.Ansible2.5三、安装1.yum优点:部署安装方便。缺点:Ansible模块安装在python公共模块,不同用户可以访问,影响效率和交付。2.源码安装(本文采用)优点:配合virtual env创建...

#ansible
spring报错:java.lang.IllegalStateException: Failed to load ApplicationContext

一、问题描述Spring项目,开发单元测试的时候莫名报错:java.lang.IllegalStateException: Failed to load ApplicationContextat org.springframework.test.context.cache.DefaultCacheAwareContextLoaderDelegate.loadContext(D...

#spring
(转)github在git push之后不记录Contributions

【转载原因:遇到同样的问题,push成功,但是contribuions表格上不现实,参考本文添加了github认证用户邮箱解决】【转载原文:https://blog.csdn.net/hanchao5272/article/details/79224161】参考github官方帮助文档:Changing author info1.产生原因分析最近发现github在git push...

#github
(转)无法启动服务,原因可能是已被禁用或与其相关联的设备没有启动

【转载原因:win7安装windows Update独立安装程序,报错。】【转载原文:https://blog.csdn.net/weixin_40173917/article/details/90147491】版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/weixin_40...

Java 基础:JVM虚拟机结构

一、JVM结构1.Class Loader:依据特定格式,加载class文件到内存2.Execution Engine:对加载的二进制字节码命令进行解析3.Native Interface:融合不同开发语言的原生库为Java所用4.Runtime Data Area:JVM内存空间结构模型二、JVM内存空间结构模型1.内存模型结构(1) 线程私有程序计数器(字节码...

#jvm
MAVEN配置合适镜像源(阿里、官方)提升依赖下载速度

一、实现功能因为不同地方网速不同,导致常用的maven依赖包无法下载,而报错:所以,必备的是在maven的setting.xml中多配置几个镜像源。从而可以实现,采用最快的下载。当然,maven项目只会采用最上面的一个镜像源。二、镜像源1.阿里镜像源<!--阿里仓库--><mirror><id>alim...

#maven
生产问题:@Scheduled Spring定时任务每次执行两次原因分析以及解决方案

一、问题描述Spring 的@Scheduled定时任务,按照Spring定时任务配置 的配置方法,结果每次定时任务都是执行了两次,很尴尬@Scheduled(cron = "*/20 * * * * ?")public void process(){logger.info("hello world");}二、问题原因第一,肯定了不是代码的问题,因为在本地运行没有问题,这个问题是在布署到服务器to

    共 37 条
  • 1
  • 2
  • 3
  • 4
  • 请选择