一、Java虚拟机垃圾回收调优的背景如果在持久化RDD的时候，持久化了大量的数据，那么Java虚拟机的垃圾回收就可能成为一个性能瓶颈。因为Java虚拟机会定期进行垃圾回收，此时就会追踪所有的java对象，并且在垃圾回收时，找到那些已经不在使用的对象，然后清理旧的对象，来给新的对象腾出内存空间。垃圾回收的性能开销，是跟内存中的对象的数量，成正比的。所以，对于垃圾回收的性能问题，首

本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。废话不多说，直接开始~一、环境准备（在所有机器上操作）查看系统空间的使用情况等配置ip、主机名、主机映射等（重启生效！！）禁用ipv6（重启生效！！）# ...

      今天跟大家介绍一个非常实用的软件——宝塔面板，它能够很好的管理Linux/Windows服务器。下面以Linux中一台服务器为例简单的介绍一下它的安装。1）root用户下输入以下命令进行安装：yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh

1、备份相关文件为了避免编辑出错，最好备份一下将要编辑的文件。cp /etc/pam.d/sshd /etc/pam.d/sshd.bakcp /etc/pam.d/login /etc/pam.d/login.bak2、检查是否有pam_tally2.so模块find / -name "pam_tally2.so"3、设置登录失败处理策略（1）...

目录一、Linux下安装Python二、Linux下Python安装完成后如何使用pip命令三、Linux下Python安装完成后如何使用yum命令四、Linux下安装Anaconda五、Linux下使用anaconda安装Keras             上一篇博客我们主要讨论了如何在Linux下进行Python3.6.3的安装，这篇博客我们主要说一下安装完成后如何进行pip命令的使用。一、很

一、HBase数据检索流程        上图中，我们可以看出不管客户端读或写一个表的数据，首先链接Zookeeper，因为需要到Zookeeper中找读的数据，表是通过Region来管理，每个Region由RegionServer管理，每个Region都有startkey及endkey。        HBase的表格分为User Tables

      本文主要讲解如何使用thrift完成RPC服务，Windows下和Linux下均已实现，有相关的Java代码。废话不多说，直接开始~一、thrift的安装参考官方文档：thrift在CentOS下的安装安装到“Build and Install the Apache Thrift IDL Compiler”时，直接上传thrift的tar包，解压。此时先不要安装thrift。安装thr

因为集群httpd的版本较低，故而出现安全漏洞。现对其进行升级，具体步骤如下：（rpm卸载原来的httpd此处不再赘述！！！）一、首先下载相应版本的安装包因为httpd依赖于apr和apr-util，故这两个包也一并下载。二、（1）首先安装apr，进入到其解压目录中（2）make && make install三、（1）其次安装apr-util...

        声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会发布在我的个人博客专栏《Python从入门到机器学习》，欢迎大家关注。下面开始我们的第六讲：Sklearn库和TensorFlow框架。 目录一、Python机器学习基础之Python的基本语法（一）二、P...

最近公司在做实时流处理方面的工作，具体需求是：将关系型数据库（MySQL、Oracle）中的相关数据表实时的导入到HBase中，并使用Hive映射HBase进行数据查询。公司使用的是CDH6.3.1搭建的大数据集群~一、配置Flume，抽取数据到Kafka在之前，我写过一篇《Flume抽取Oracle中的数据到Kafka》的文章，里面详细的介绍了如何配置连接Oracle数据库，那么这里就以MySQ