上一篇文章介绍了Kafka在设计上是如何来保证高时效、大吞吐量的，主要的内容集中在底层原理和架构上，属于理论知识范畴。这次我们站在应用和运维的角度，聊一聊集群到位后要怎么才能最好的配置参数和进行测试性能。Kafka的配置详尽且复杂，想要进行全面的性能调优需要掌握大量信息，我也只是通过工作中的一些实战经验来筛选出对集群性能影响最大的几个要点，接下来要阐述的观点也仅限于我所描述的环境下，请大家根据自己

对于两个hadoop集群（生产环境和测试环境），想讲两个hbase表同步或者迁移，更保守的方式使用hbase自带的import & exportexport语法为：bin/hbase org.apache.hadoop.hbase.mapreduce.ExportERROR: Wrong number of arguments: 0Usage: Export [-D <property=va

最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile

sudo -s  进入 root 用户权限模式vi /etc/lightdm/lightdm.conf[SeatDefaults]greeter-session=unity-greeteruser-session=Ubuntugreeter-show-manual-login=trueallow-guest=fasle重启后再登陆就会 直接用root登陆了

NetworkWordCount代码/** Licensed to the Apache Software Foundation (ASF) under one or more* contributor license agreements. See the NOTICE file distributed with* this work for additional information r

1. 前置条件spark是1.4.1版本elasticsearch是1.7版本java是1.7版本2. 依赖jar包需要使用elasticsearch-hadoop下载地址：http://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-hadoop/2.2.0-m13. 配置将下载的elasticsearch-hado

1. spark vs hadoopPS:Databricks团队特别说明，为了和Hadoop对比，这次用于排序的Spark集群没有使用它们的内存缓存机制，他们也是用硬盘存储的中间结果！http://tieba.yunxunmi.com/mtieba-hadoop-kz-58b9e430a78747f7fb1ea9f9e6374597.html但是我们要明白，spark的目标是与hadoop

错误原文分析文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192]hadoop docs hdfs-s

错误原文分析文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192]hadoop docs hdfs-s

最近学习的重点不在机器学习上面，但是现代的学科就是这么奇妙，错综复杂，玩着玩着，你发现又回到了人工智能这一块。所以干脆好好整理下当下令很多人如痴如醉，但又不容易入门的机器学习。一来给大多数还没有入门的人一点宏观概念，二来让我自己以后找解决办法的时候更有头绪。故此文不是给想快速上手的工程师的菜单，更像一篇娓娓道来的武侠小说，看看人工智能世界的先驱们是如何开宗创派的。一、从人工智能说起