logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

初识Hadoop:大数据与Hadoop概述

1、大数据概述大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的主要特点(4V)是:数据量大(Volume)数据类别复杂(Variety)数据处理速度快(Velocity)和数据真实性高(Veracity)还有的将大数据特点定义为6

#hadoop#大数据
Hadoop的安装与配置——搭建完全分布式集群

一、搭建集群1、准备服务器(这里以我的3台Centos7为例)1个主节点:Carlota1(192.168.33.21),2个子节点:Carlota2(192.168.33.22),Carlota3(192.168.33.23)2、配置主节点名在主节点命令行输入: vi /etc/sysconfig/network 添加内容:NETWORKING=yesHOSTNAME=Carlota13、配置两

#hadoop#分布式#大数据 +1
日常问题——hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_1595222530661_0003

执行mapreduce没报错,可是任务运行到running job就卡住在 INFO mapreduce.Job: Running job: job_1595222530661_0003解决方法 mapred-site.xml下将<property><name>mapreduce.framework.name</name><value>yarn&lt

linux下安装davinci

官网地址https://edp963.github.io/davinci/1、准备JDK 1.8(或更高版本)MySql5.5(或更高版本)Mail Server (本人测试可以不用安装)phantomjs 或 chrome(需同时安装chromedriver,清注意版本)phantomjs 的安装步骤:2、下载安装下载地址https://github.com/edp963/davinci/rel

#mysql
XML 简介

XML 是 Extensible Markup Language 的缩写,即可扩展标记语言,是一种标记语言,也是一种简单的数据存储语言,XML 使用一系列简单的标记来描述结构化数据。

文章图片
#xml#java#前端
JDK源码解析之 java.lang.Class

Java程序在运行时,Java运行时系统一直对所有的对象进行所谓的运行时类型标识。 这项信息纪录了每个对象所属的类。虚拟机通常使用运行时类型信息选准正确方法去执行,用来保存这些类型信息的类是Class类。Class类封装一个对象和接口运行时的状态,当装载类时,Class类型的对象自动创建。一、类定义public final class Class<T> implements java.

#java
可扩展的编程语言——Scala

一、Scala是什么Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。​Scala语言的名称来自于"可伸展的语言"。之所以这样命名,是因为它被设计成可以随着使用者的需求而扩展。Scala的应用范围很广,从编写简单脚本,到建立大型系统。​它在许多方面体现了面向对象和函数式编程的熔合;或许

#编程语言#scala#大数据
JVM内存结构

**主要结构:**堆内存、方法区、栈(说明:基于JDK1.7)堆内存是JVM中最大的一块由年轻代和老年代组成,而年轻代内存又被分成三部分,Eden空间、From Survivor空间、To Survivor空间,默认情况下年轻代按照8:1:1的比例来分配;方法区存储类信息、常量、静态变量等数据,是线程共享的区域,为与Java堆区分,方法区还有一个别名Non-Heap(非堆);栈又分为java虚拟机

#jvm
JVM简介

JVM它是Java Virtual Machine 的缩写,主要是通过在实际计算机模仿各种计算机功能来实现的,组成部分包括堆、方法区、栈、本地方法栈、程序计算器等部分组成的,其中方法回收堆和方法区是共享区,也就是谁都可以使用,而栈和程序计算器、本地方法栈区是归JVM的。Java能够被称为“一次编译,到处运行”的原因就是Java屏蔽了很多的操作系统平台相关信息,使得Java只需要生成在JVM虚拟机运

#jvm
日常问题——VMware下的CentOS7 Ping不通百度

问题描述:在VMware下新创建的CentOS ping 不通百度解决方案:1、点击VMware的编辑按钮下的虚拟网络编辑器2、更改设置后,选择NAT类型,点击NAT设置3、记录下,子网ip,掩码,网管IP信息4、进入CentOS系统 修改虚拟机网卡配置文件vi /etc/sysconfig/network-scripts/ficfg-ens33修改如下内容其中IPADDR为要配置的ipNETMA

    共 33 条
  • 1
  • 2
  • 3
  • 4
  • 请选择