本次将进行下期双色球号码的预测，想想有些小激动啊。代码中使用了线性回归算法，这个场景使用这个算法，预测效果一般，各位可以考虑使用其他算法尝试结果。#!/usr/bin/python# -*- coding:UTF-8 -*-#导入需要的包import pandas as pdimport numpy as npimport matplotlib.pyplot as plt

今天帮一个朋友处理hdfs上Non DFS Used占用很大的问题，从hadoop UI界面看到的节点信息存储容量：Capacity| Used| Non DFS Used| Remaining4.46T| 1.69T| 1.46T| 1.31TNon DFS Used怎么有这么大，于是先看看dfs.datanode.du.reserved配置，10G很正常，那去看看dfs.dat

Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk-skipcrc

apache源码http://hadoop.apache.org/releases.htmlCDH源码http://archive-primary.cloudera.com/cdh5/cdh/5/HDP源码http://s3.amazonaws.com/public-repo-1.hortonworks.com/index.html#/HDP/centos6/2.x/u

1、在搭建hive数据仓库完成后，desc 表名 字段描述乱码以及导入带有中文HQL时报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Transactio

版本：Spark 1.5.2 built for Hadoop 2.4.0今天spark的history server自己挂掉了，查看日志：16/05/13 14:12:30 WARN DFSClient: Failed to connect to /192.168.2.77:50010 for block, add to deadNodes and continue. java.ni

将上一篇收集的数据处理下，python数据分析1:获取双色球历史信息newdata.txt数据样子...2005-08-21, 05,10,23,27,28,30,152005-08-18, 04,05,17,18,26,33,042005-08-16, 09,12,18,21,28,29,05...一、蓝球统计：analyze_data_l

hadoop节点服务器的一块硬盘出现物理故障，需要更换，将节点的服务停止，暂时不提供服务，将故障更换了，新盘格式化，fdisk -l新的2T盘为/dev/sdeparted -s /dev/sde mklabel gpt mkpart primary 0% 100%格式化：mkfs.ext4 /dev/sde1挂载硬盘：mount /dev/sde /d

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个fo

清洗数据写好代码后，运行报错：ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-****** to 0700 at org.apache.h