ElasticSearch7.X 启用X-Pack在linux上安装部署

1.安装本次安装版本为ElasticSearch7.4.2，由于官网下载慢，推荐到华为开源镜像站（https://mirrors.huaweicloud.com/）下载。下载安装包：elasticsearch-7.4.2-linux-x86_64.tar.gz或直接在服务器直接下载：wget https://mirrors.huaweicloud.com/elasticsea...

P.C.Y

3210人浏览 · 2019-12-12 15:42:01

P.C.Y · 2019-12-12 15:42:01 发布

1.安装

本次安装版本为ElasticSearch7.4.2，由于官网下载慢，推荐到华为开源镜像站（https://mirrors.huaweicloud.com/）下载。

下载安装包：elasticsearch-7.4.2-linux-x86_64.tar.gz 或直接在服务器直接下载：wget https://mirrors.huaweicloud.com/elasticsearch/7.4.2/elasticsearch-7.4.2-linux-x86_64.tar.gz
通过FTP工具上传安装到在服务器目录（如：/usr/local/src）
解压安装包: tar -zxvf elasticsearch-7.4.2-linux-x86_64.tar.gz
重命名安装目录: mv elasticsearch-7.4.2-linux-x86_64 elasticsearch
修改配置文件：
进入到es安装目录下的config文件夹中，修改elasticsearch.yml 文件

cd elasticsearch/config
vi elasticsearch.yml
修改如下：

#配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
cluster.name: my-es
#节点名称
node.name: node-1
#设置索引数据的存储路径(目录如果不存在需手动创建)
path.data: /usr/local/src/elasticsearch/data
#设置日志的存储路径(目录如果不存在需手动创建)
path.logs: /usr/local/src/elasticsearch/logs
#设置当前的ip地址,通过指定相同网段的其他节点会加入该集群中
network.host: 0.0.0.0
#设置对外服务的http端口
http.port: 9200
discovery.seed_hosts: ["127.0.0.1"]

由于我这边环境JDK使用的1.8,而ElasticSearch7.4.2要求JDK版本必须为JDK11+,否则启动会报错，在这种情况下如想在不升级环境JDK版本下启动ES需修改ES的JDK配置，其实ElasticSearch7.X安装包中都自带有JDK(系统无配置JDK环境变量时启动会使用自带JDK),我这里通过修改bin目录下elasticsearch和elasticsearch-cli来指向自带JDK。

修改bin/elasticsearch

#!/bin/bash

# CONTROLLING STARTUP:
#
# This script relies on a few environment variables to determine startup
# behavior, those variables are:
#
#   ES_PATH_CONF -- Path to config directory
#   ES_JAVA_OPTS -- External Java Opts on top of the defaults set
#
# Optionally, exact memory values can be set using the `ES_JAVA_OPTS`. Note that
# the Xms and Xmx lines in the JVM options file must be commented out. Example
# values are "512m", and "10g".
#
#   ES_JAVA_OPTS="-Xms8g -Xmx8g" ./bin/elasticsearch
#配置为elasticsearch自带jdk
export JAVA_HOME=/usr/local/src/elasticsearch/jdk
export PATH=$JAVA_HOME/bin:$PATH

source "`dirname "$0"`"/elasticsearch-env

if [ -z "$ES_TMPDIR" ]; then
  ES_TMPDIR=`"$JAVA" -cp "$ES_CLASSPATH" org.elasticsearch.tools.launchers.TempDirectory`
fi

ES_JVM_OPTIONS="$ES_PATH_CONF"/jvm.options
JVM_OPTIONS=`"$JAVA" -cp "$ES_CLASSPATH" org.elasticsearch.tools.launchers.JvmOptionsParser "$ES_JVM_OPTIONS"`
ES_JAVA_OPTS="${JVM_OPTIONS//\$\{ES_TMPDIR\}/$ES_TMPDIR}"

#添加jdk判断
if [ -x "$JAVA_HOME/bin/java" ]; then
   JAVA="/usr/local/src/elasticsearch/jdk/bin/java"
else
   JAVA=`which java`
fi

# manual parsing to find out, if process should be detached
if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

修改bin/elasticsearch-cli

#!/bin/bash

set -e -o pipefail

#配置es自带jdk13
export JAVA_HOME=/usr/local/src/elasticsearch/jdk
export PATH=$JAVA_HOME/bin:$PATH
source "`dirname "$0"`"/elasticsearch-env

IFS=';' read -r -a additional_sources <<< "$ES_ADDITIONAL_SOURCES"
for additional_source in "${additional_sources[@]}"
do
  source "$ES_HOME"/bin/$additional_source
done

IFS=';' read -r -a additional_classpath_directories <<< "$ES_ADDITIONAL_CLASSPATH_DIRECTORIES"
for additional_classpath_directory in "${additional_classpath_directories[@]}"
do
  ES_CLASSPATH="$ES_CLASSPATH:$ES_HOME/$additional_classpath_directory/*"
done

# use a small heap size for the CLI tools, and thus the serial collector to
# avoid stealing many CPU cycles; a user can override by setting ES_JAVA_OPTS
ES_JAVA_OPTS="-Xms4m -Xmx64m -XX:+UseSerialGC ${ES_JAVA_OPTS}"

#添加jdk判断
if [ -x "$JAVA_HOME/bin/java" ]; then
   JAVA="/usr/local/src/elasticsearch/jdk/bin/java"
else
   JAVA=`which java`
fi
exec \
  "$JAVA" \
  $ES_JAVA_OPTS \
  -Des.path.home="$ES_HOME" \
  -Des.path.conf="$ES_PATH_CONF" \
  -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
  -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
  -cp "$ES_CLASSPATH" \
  "$ES_MAIN_CLASS" \
  "$@"

编辑limits.conf配置文件（解决无法创建本地文件问题,用户最大可创建文件数太小）

vi /etc/security/limits.conf

添加如下配置：

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

注：* 代表Linux所有用户名称
编辑/etc/sysctl.conf配置文件（解决最大虚拟内存太小）

vi /etc/sysctl.conf

添加如下配置：

vm.max_map_count=262144

保存后执行命令：

sysctl -p
创建启动ES账号
出于安全问题elasticsearch 不让用root用户直接运行，需要创建一个新用户。
创建组和用户:
groupadd elasticsearch
useradd elasticsearch -g elasticsearch
授权：
chown -R elasticsearch:elasticsearch /usr/local/src/elasticsearch
切换用户：
su - elasticsearch
启动elasticsearch

cd bin
./elasticsearch 或者后台启动：./elasticsearch -d

启动完成，浏览器访问:http://localhost:9200,界面显示如下：

{
  "name" : "node-1",
  "cluster_name" : "yzcc-es",
  "cluster_uuid" : "qw9Hg3npTDW7L7mg6_DtVQ",
  "version" : {
    "number" : "7.4.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "2f90bbf7b93631e52bafb59b3b049cb44ec25e96",
    "build_date" : "2019-10-28T20:40:44.881551Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

至此elasticsearch安装完成,可通过使用ElasticSearch Head插件进行访问。

2.启用X-Pack

X-Pack是Elastic Stack扩展功能，提供安全性，警报，监视，报告，机器学习和许多其他功能。 ES7.0+之后，默认情况下，当安装Elasticsearch时，会自动安装X-Pack，无需单独再安装。自6.8以及7.1+版本之后，基础级安全永久免费。
从上面启动ES并访问我们可以发现在访问ES过程中我们没有任何安全认证就可以直接访问并操作ES，这在生产环境下如果端口号向外暴露的话对数据安全性无法得到保障。当然还有其它解决方案比如使用nginx作代理防护这里就不作过多介绍。

修改es配置文件：

cd elasticsearch/config
vi elasticsearch.yml
新增如下配置项：
xpack.security.enabled: true

生成节点证书
借助elasticsearch-certutil命令生成证书：

bin/elasticsearch-certutil.bat ca -out config/elastic-certificates.p12 -pass ""
执行成功后在config目录下会生成证书文件，如下所示：

配置通信证书
cd elasticsearch/config
vi elasticsearch.yml

新增如下配置项：
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
设置集群密码

执行设置用户名和密码的命令,这里需要为4个用户分别设置密码，elastic, kibana, logstash_system,beats_system
bin/elasticsearch-setup-passwords interactive --手动配置每个用户密码模式
bin/elasticsearch-setup-passwords auto --自动配置每个用户密码模式
用户elastic为超级管理员，其它用户暂未使用到。

至此单节点安全配置完毕，重启es后访问9200会出现用户名和密码的提示窗口,我们就可以通过用户elastic生成的密码过行访问了：

通过Kibana访问：

以上纯属个人在搭建ES环境所记录下来的操作流程，希望对大家有用，后面我也会介绍Kibana启用登录认证和Logstash同步mysql数据到ES中。

Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具； 1.1 mii-tool 介绍； mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

Linux系统下超级终端Minicom的使用方法 　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： 　　1．启动minicom 　　以root权限登录系统 　　使用命令 　　minicom –s 则minicom启动，屏

Linux

所有评论(0)

查看更多评论

P.C.Y

@pengcaiyun

已为社区贡献1条内容