MapReduce简介：MapReduce”分而治之“的思想处处可见，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责”分“，即把复杂的任务分解为若干个”简单的任务“来处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapReduce运行再Yarn集群上（资源调度的平台）经典案列：wordcount1

我的Bug日常之 Caused by: java.lang.IllegalStateException: No typehandler found for property transfer_time 已解决！

可能的情况：1、url的问题2、xpath路径问题3、网页标签class，id属性等一定要注意看后面有没有空格关于xpath路径问题之前在做的爬虫都是用的xpath去获取内容，又想偷懒，所以就直接在源码那里直接复制路径，然后就很容易踩雷了（我算是踩了很多坑了，不知道有没有小伙伴和我一样踩过这样的坑）：此时可能会得到如下路径：/html/body/div[2]/div[6]/table/tbody/

Exception in thread "main" org.apahe.hadoop.hbase.client.RetriesExhaustedException:Can't get the location

Exception in thread "main" org.apahe.hadoop.hbase.client.RetriesExhaustedException:Can't get the location

ERROR: Can't get master address from ZooKeeper; znode data == null

我的Bug日常：Connection timed out 使用SecureCRT连接超时 无法连接虚拟机 本机ping不通虚拟机