logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

docker分布式部署pyspider爬虫系统

阅读准备docker基础命令,docker-compose基础pyspider基础如果您不熟悉上面的内容,可以先网上查阅有关资料。1. 创建网络接口首先,创建一个Driver为bridge的网络接口,命名为pyspider:docker network create --driver bridge pyspider说明1: 需要创建该网络接口的原因是:在下面创建Docker容器的过程中,我们使用了

#docker
kubernetes可视化搭建集群,web界面一键操作

ku8eye web 开发环境当前版本的 ku8eye web开发环境 以docker镜像方式提供,下载地址为: http://pan.baidu.com/s/1gdYk4CV安装部署的架构图如下图所示。注:运行ku8eye-web开发环境的服务器应在待安装Kubernetes集群的服务器范围之外,并能够与待安装服务器网络连通。文件名为:ku8eye-web.tar.gz 用gunzip解压缩后,

#分布式
kubeadm 快速安装K8S 1.14.2

前言Kubernetes作为容器编排工具,简化容器管理,提升工作效率而颇受青睐。很多新手部署Kubernetes由于“科学上网”问题举步维艰,本文以实战经验详解kubeadm不用“科学上网”部署Kubernetes的最简方法。一、Kubernetes简介Kubernetes(简称K8S)是开源的容器集群管理系统,可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工...

kubernetes DNS配置

DNS (domain name system),提供域名解析服务,解决了难于记忆的IP地址问题,以更人性可读可记忆可标识的方式映射对应IP地址。Cluster DNS扩展插件用于支持k8s集群系统中各服务之间发现与调用。  组件:  •SkyDNS 提供DNS解析服务  •Etcd 存储DNS信息  •Kube2sky 监听kubernetes,当有Service创建时,生成相...

#kubernetes
k8s dashboard 集成heapster pod资源监控界面

k8s dashboard的界面中仅显示了pod一些配置信息以及node层面的监控,无法图形化展现集群度量指标信息。下图为dashboard界面:而如果要展示图形化的集群度量指标信息,就需要安装一个dashboard插件:heapster。Heapster原生支持K8s(v1.0.6及以后版本)和CoreOS,并且支持多种存储后端,比如:InfluxDB、ElasticSearch、Kafka等,

k8s中service的机制

ServicePod的IP是在docker0网段动态分配的,当发生重启,扩容等操作时,IP地址会随之变化。当某个Pod(frontend)需要去访问其依赖的另外一组Pod(backend)时,如果backend的IP发生变化时,如何保证fronted到backend的正常通信变的非常重要。由此,引出了Service的概念。这里docker0是一个网桥,docker daemon启动containe

k8s部署服务——内部服务关联

背景相信大家应该都在自己的电脑中部署过tomcat与mysql集群,我们可以通过访问tomcat来访问后台数据库。kubernetes是一个可自动部署、扩缩、管理容器化应用的工具。本篇博客主要讲解如何在kubernetes中部署tomcat与mysql集群。当然,这涉及到kubernetes的自动化部署功能。至于扩缩、管理功能,我这里就不详述了,以后有机会再讲解。基础在kubernetes中部署t

#k8s#kubernetes#docker +1
Kafka connect 构建ETL方案

一.背景介绍Kafka connect是Confluent公司(当时开发出Apache Kafka的核心团队成员出来创立的新公司)开发的confluent platform的核心功能.大家都知道现在数据的ETL过程经常会选择kafka作为消息中间件应用在离线和实时的使用场景中,而kafka的数据上游和下游一直没有一个无缝衔接的pipeline来实现统一,比如会选择flume或者logs...

k8s dashboard 集成heapster pod资源监控界面

k8s dashboard的界面中仅显示了pod一些配置信息以及node层面的监控,无法图形化展现集群度量指标信息。下图为dashboard界面:而如果要展示图形化的集群度量指标信息,就需要安装一个dashboard插件:heapster。Heapster原生支持K8s(v1.0.6及以后版本)和CoreOS,并且支持多种存储后端,比如:InfluxDB、ElasticSearch、Kafka等,

centos7下安装python3、单机spark、jupyter

centos安装使用的是CentOS-7-x86_64-DVD-1708.iso root登录ssh 设置开机自动联网配置linux环境更改openjdk为java jdk卸载openjdk安装java jdk安装python配置python环境变量安装Jupyter安装单机spark将pyspark与jupyter连接使用jupyter...

    共 14 条
  • 1
  • 2
  • 请选择