一.Hadoop概述1.1 Hadoop简要概述我们生活在这个数据大爆炸的时代 ，很难估算全球电子设备中存储的数据总共有多少 。当前一个中小型公司的数据量也达到数十TB，甚至更多。有句话说得好 ：“ 大数据胜于好算法 。” 意思是说对于某些应用 （譬如根据以往的偏好来推荐电影和音乐），不论算法有多牛 ，基于小数据的推荐效果往往都不如基于大量可用数据的 一般算法的推荐效果 。我们遇到的问题很简单：在

文章目录一.Yarn简介二.Yarn基本服务组件三.Yarn工作的过程参考一.Yarn简介在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的资源调度工作独立了出来，而这一改动，直接让 Ha

文章目录一.检查和安装与Perl相关的模块二.下载和安装percona toolkit的包2.1 下载和安装percona toolkit的包2.2 安装percona-toolkit工具包2.3 percona-toolkit工具介绍2.3.1 pt-archiver(归档表)2.3.2 pt-online-schema-change(在线修改表结构)2.3.3 pt-table-checksu

一. 问题描述今天朋友的数据库出现了一些连接失败，如下图:查看MySQL的错误日志，发现有如下报错:2021-12-13T22:31:33.921945Z 163060 [Warning] IP address '*.*.*.*' could not be resolved: Name or service not known2021-12-14T01:22:46.151797Z 163180 [

文章目录一.Windws系统二.Linux系统1.service命令2. /etc/init.d/mysql3.mysqld命令4.mysqld_safe命令5.mysqld_multi命令6.mysqladmin命令7.杀进程8.总结备注:测试数据库版本为MySQL 8.0这个blog我们来聊聊MySQL的启动和关闭命令一.Windws系统--启动MySQLnet start mysql-- 关

备注:Hive 版本 2.1.1文章目录一.Hive的DML(数据操作语言)概述二.Load 命令2.1 数据准备2.2 将服务器文件加载到hive表2.3 将HDFS文件加载到hive表三.INSERT INTO TABLE FROM Query3.1 Insert into select 语句3.2 Insert overwrite select语句3.3 multiple inserts3.

一.ZooKeeper简介ZooKeeper是一个集中的服务，用于维护配置信息、命名、提供分布式同步和提供组服务。所有这些类型的服务都被分布式应用程序以某种形式使用。每次实现它们时，都要做大量工作来修复不可避免的bug和竞争条件。由于实现这些类型的服务很困难，应用程序最初通常忽略它们，这使得它们在出现更改时很脆弱，难以管理。即使正确执行，这些服务的不同实现也会在部署应用程序时导致管理复杂性。Zoo

文章目录一.idea搭建maven工程二.Maven编译Java应用程序2.1 Java代码三.导出maven工程四.运行jar程序参考:一.idea搭建maven工程前面已经有博客介绍idea下搭建maven工程了，这里略过，主要介绍下pom.xml的配置。<project><groupId>edu.berkeley</groupId><artifact

备注:Hive 版本 2.1.1文章目录一. HPL/SQL概述二.HPL/SQL测试案例2.1 测试执行简单sql2.2 测试函数和循环2.3 测试include套用存储过程2.4 测试package2.4 测试游标2.5 测试游标2参考一. HPL/SQL概述Hive 2.0版本开始，已经有了Hive存储过程的解决方案（HPL/SQL –Procedural SQL on hadoop）。该解

备注:Hive 版本 2.1.1文章目录一.Hive SELECT（数据查询语言）概述二.Select的几个简单例子2.1 表别名2.2 字段值的计算2.3 字段别名2.4 LIMIT2.5 FROM子查询2.6 case when 判断2.7 where过滤2.8 group by分组2.9 Having子句三.Hive的join3.1 内连接 --求交集3.2 左连接 --求A的全部3.3 左