第一步下载不写版本默认最新的

docker pull elasticsearch

 

第二步启动

docker run -it --name elasticsearch -d -p 9200:9200 -p 9300:9300 -p 5601:5601 elasticsearch

-p 5601:5601 是kibana的端口地址 (我这里kibana的container共用elasticsearch的网络，所以这样设置

第三步进行访问：注如果访问不到确认防火墙是否关闭  ----可以使用命令关闭：systemctl stop firewalld.service

http://192.168.74.110:9200/

显示下面json说明安装成功

{
  "name" : "Rouw414",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "8NafzKJGT5e9URHk1bf1nA",
  "version" : {
    "number" : "5.6.12",
    "build_hash" : "cfe3d9f",
    "build_date" : "2018-09-10T20:12:43.732Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"
  },
  "tagline" : "You Know, for Search"
}

 

 

 

安装Kibana

docker run -it -d -e ELASTICSEARCH_URL=http://127.0.0.1:9200 --name kibana --network=container:elasticsearch kibana

测试运行结果

http://192.168.74.110:5601/app/kibana

 

 

以上但基本安装成功

 

现在需要做到---logstash mysql 同步到 elasticsearch

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地

1.上传logstash-6.4.3.tar.gz到服务中 -----这个可以自行百度搜索下载

2.tar –zxvf  logstash-6.4.3.tar.gz

3.cd logstash-6.4.3

4. bin/logstash-plugin install logstash-input-jdbc      --还需要安装一下两个插件

5. bin/logstash-plugin install logstash-output-elasticsearch

 

然后上传需要同步mysql的配置文件  ---一个输入、一个输出需要配置你的数据库信息 上传到咱们安装好的logstash-6.4.3 目录中

mysql.conf 

input {
  jdbc {
    jdbc_driver_library => "/usr/local/sql/mysql-connector-java-5.1.46.jar"  #别忘记下载这个
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.74.110:3308/test"
    jdbc_user => "root"
    jdbc_password => "root"
    schedule => "* * * * *"
    statement => "SELECT * FROM user WHERE update_time >= :sql_last_value"
    use_column_value => true
    tracking_column_type => "timestamp"
    tracking_column => "update_time"
    last_run_metadata_path => "syncpoint_table"
  }
}


output {
    elasticsearch {
        # ES的IP地址及端口
        hosts => ["192.168.74.110:9200"]
        # 索引名称 可自定义
        index => "user"
        # 需要关联的数据库中有有一个id字段，对应类型中的id
        document_id => "%{id}"
        document_type => "user"
    }
    stdout {
        # JSON格式输出
        codec => json_lines
    }
}
 

成功之后咱们使用命令启动一下 

./bin/logstash -f mysql.conf 启动 你会发现报错了

因为上面的--/usr/local/sql/mysql-connector-java-5.1.46.jar 你没有、需要下载上传到 usr/local/sql目录下

在启动即可

看下我数据库的

 

 

上面玩着如果不给力 

现在教你如何搭建同步多个表 需要把第一次上传的配置文件在命名为2 修改对应的表 上传到usr/local即可

进入咱们安装的logstash-6.4.3 目录

cd /config/ 

vi pipelines.yml 这个配置 配置多表 写入如下配置

- pipeline.id: table1

  path.config: "usr/local/sql/mysql.conf " 

- pipeline.id: table2

  path.config: "usr/local/sql/mysql.conf 2"

 

./bin/logstash 启动完成 去ES中查询即可同步两张表成功

不想下载的 扣我要资料

Logo
向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

深入理解 Mocha 测试框架：从零实现一个 Mocha

前言什么是自动化测试自动化测试在很多团队中都是Devops环节中很难执行起来的一个环节，主要原因在于测试代码的编写工作很难抽象，99%的场景都需要和业务强绑定，而且写测试代码的编写工作量往往比编写实际业务代码的工作量更多。在一些很多业务场景中投入产出比很低，适合写自动化测试的应该是那些中长期业务以及一些诸如组件一样的基础库。自动化测试是个比较大的概念，其中分类也比较多，比如单元测试，端对端测试，集

avatar 云原生

ELK实现containerd的容器日志采集展示【基于logging的全栈监测】

企业级ELK Stack构建介绍

avatar 云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

avatar 云原生