DevOps平台架构（Platform Architecture）《虚拟化平台（Platform）》新建网络Network首先创建VxNet私有网络，然后器创建SubNet子网，最后配置IP、开启GW和DHCP、设置DNS、连接Router。新建主机Instance选择主机配置；绑定公网IP（是否绑定负载均衡LB），绑定私网IP，绑定安全组；管理认证密钥。路由器；通讯网关，

windows环境下修改pip镜像源的方法mkdir ~/pipvim ~/pip/pip.ini[global]index-url = https://mirrors.aliyun.com/pypi/simple/cat ~/pip/pip.inilinux 修改pip镜像源的方法：在当前用户的目录下创建.pip文件夹 vim ~/.pip/pip.conf...

最近公司因为用的云服务器，需要保证kafka的安全性。可喜的是kafka0.9开始，已经支持权限控制了。网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制 ( flume需要1.7及其以上才支持kafka的SSL认证)。下面各位看官跟着小二一起开始kafak权限认证之旅吧！嘎嘎嘎！介绍：kafka权限控制整体可以分为三种类型：1.基于SSL(CDH 5.8不...

kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。本文将针对Kafka性能方面进行简单分析，首先简单介绍一下Kafka的架构和涉及到的名词：1. Topic：用于划分Message的逻辑概念，一个Topic可以分布在多个Br

说明数据源来自source1,测试数据来自source2此处根据日志的特征分流到不同的kafkatopic，当然也可以到ES 或者是 file,一个match中的数据可以有多个store进行存储，不过可能会相互影响，也就是copy到两个地方。# 具体参考 https://docs.fluentd.org/v0.12/articles/out_rewrite_tag_filter?q=st

这几天在做flume拦截器改写.准备部署测试了,为了不影响线上环境,换了一个消费者组,然后又换了一个输出路径.一切测试尝试后,终于把bug给修复好了,然后准备看看kafka的消费是否正常.What?怎么有个topic的lag比较大,另一个topic的lag很正常(同时消费两个topic的数据),再仔细看看,怎么只有部分partition的数据delay很多,然后其他partition是正常的lag

由于kafka涉及到多人使用，不同的版本有影响，存在兼容性问题。特此做了一个测试,结果如下：server端的版本较高，能兼容低版本的client（包括producer and consumer）如果client端的版本较高：1. producet则无法成功写入2. consumer 消费会报错，也无法成功消费。此处针对的是0.8 ,0.9  和 0.10 三个版本之间进行兼

参考：https://github.com/tflearn/tflearn/issues/964解决方法："""Tensorflow graph freezerConverts Tensorflow trained models in .pbCode adapted from:https://gist.github.com/morgangiraud/249505f

摘自stackoverflow： AHive table "Employee" contains a column "timerange", and the data istimerange1:101:131:171:211:26Ifthe last digit range is between (0 & 4), the data must be updated as

#!/usr/bin/env python#-*- coding:utf-8 -*-# @author:Springimport tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npdata = []label = []np.random.seed(0)# 以原点为圆心，半径为1的圆把散点划分成...