问题描述最近换了一台电脑，将原电脑的spark streaming代码考到了新电脑上，使用IDEA运行却报错了Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'The root scratch dir: /tmp/hive on HDFS should be writable经检查发现是/tmp/...

通过vim /etc/hostname设置主机名，如下图所示：三台服务器，/etc/hostname的内容分别如下：centos001.hadoop centos002.hadoop centos003.hadoop通过vim /etc/hosts设置hosts文件内容，集群内各节点/etc/hosts文件统一配置为：172.16.90.44 centos001.hadoo

登录阿里云docker registry:$ sudo docker login --username=【你的阿里云账号全名】 registry.cn-hangzhou.aliyuncs.com登录registry的用户名是您的阿里云账号全名，密码是您开通namespace时设置的密码。你可以在镜像管理首页点击右上角按钮修改docker login密码。从registry中拉取镜像

虽然要学习spark，选择linux的版本更合适，之前在台式机上配置了centos的虚拟机并安装了hadoop和spark，可是无奈笔记本性能不行，如果安装虚拟机会很卡，所以只能在windows中安装spark加以练习1.1、jdk安装安装Oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk...

安装windows docker 桌面版时报错：Docker Desktop requires Windows 10 Pro/Enterprise (15063+) or Windows 10 Home (19018+)原因：系统是windows10家庭版，且版本不符合要求尝试1：用Windows自带的检查更新，将系统升级到最新版本，结果出现了神奇的现象，版本升到了最新，但os内部版本号却没有变化

安装windows docker 桌面版时报错：Docker Desktop requires Windows 10 Pro/Enterprise (15063+) or Windows 10 Home (19018+)原因：系统是windows10家庭版，且版本不符合要求尝试1：用Windows自带的检查更新，将系统升级到最新版本，结果出现了神奇的现象，版本升到了最新，但os内部版本号却没有变化

登录阿里云docker registry:$ sudo docker login --username=【你的阿里云账号全名】 registry.cn-hangzhou.aliyuncs.com登录registry的用户名是您的阿里云账号全名，密码是您开通namespace时设置的密码。你可以在镜像管理首页点击右上角按钮修改docker login密码。从registry中拉取镜像

[贝叶斯优化]简介贝叶斯优化用于机器学习调参由J. Snoek(2012)提出，主要思想是，给定优化的目标函数(广义的函数，只需指定输入和输出即可，无需知道内部结构以及数学性质)，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布。简单的说，就是考虑了上一次参数的信息**，从而更好的调整当前的参数。他与常规的网格搜索或者随机搜索的区别是：贝叶斯调参采用高...

有时在建立虚拟机的时候设置的初始硬盘较小，后期需要对硬盘进行扩展，然而扩展VM的硬盘不是一件容易的事。一）首先通过VMware给虚拟机增大可使用空间（增加可占用电脑硬盘量）1、Vm虚拟机下扩展原有磁盘空间，详细步骤如下：虚拟机关机，虚拟机--设置--硬盘--扩展虚拟机开机，fdisk -l查看空间已经变大了需注意以下几点： linux只能扩展磁盘容量而不能减小， ...

虽然要学习spark，选择linux的版本更合适，之前在台式机上配置了centos的虚拟机并安装了hadoop和spark，可是无奈笔记本性能不行，如果安装虚拟机会很卡，所以只能在windows中安装spark加以练习1.1、jdk安装安装Oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk...