logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在命令行中运行Hadoop自带的WordCount程序

Hadoop集群搭建完之后,接下来就需要开始尝试去使用它啦。我们可以在这个集群上运行Hadoop的“Hello World程序”——WordCount单词计数。这个程序的代码在我们下载安装Hadoop的时候就已经打包下载好了,我们只需要直接去使用就可以了。(一)、启动hdfs进程服务:进入hadoop的目录中:cd Hadoop/hadoop-2.7.7进入相应目录后启动HDFS的进程...

wireshark抓包分析SSL/TLS协议

SSL/TLS协议一般有两种握手过程,一种是SSL握手,一种是会话恢复。前些时候在写HTTP和HTTPS协议区别的时候介绍了SSL协议的相关理论知识,但多少还是有点抽象,今天我们可以通过wireshark抓包来分析下SSL握手的过程。一、正常的握手过程(一)过程如下(二)wireshark抓到的对应的包如下(三)具体的包分析Client Hello包中...

C++石子合并问题(动态规划)

一、问题描述问题描述:在一个圆形操场的四周摆放着n堆石子。现要将石子有次序地合并成一堆。规定每次只能选择相邻的两堆石子合并成新的一堆,并将新的一堆石子数记为该次合并的得分。算法设计:试设计一个算法,计算出将n堆石子合并成一堆的最小得分和最大得分。样例输入:由input.txt提供输入数据样例输出:输出数据保存到output.txt输入文件示例:input.txt44 4......

#动态规划
ContentProvider导致App闪退问题分析

ContentProvider导致App闪退问题分析一、背景今日有部分线上用户反馈打开App后会偶现闪退,但奇怪的是我们在捞取相关设备的日志查看时却没有发现任何的异常栈信息,最后还是依靠系统的BugReport文件才发现了一些可疑信息。关键日志如下:2021-03-30 16:28:35.661 1091-1459/? I/ActivityManager: Killing 20972:com.te

Map和Reduce任务的优化

编程总是围绕着两个问题:“如何完成这个任务”和“如何能让程序运行得更快”因此,相对应的MapReduce计算模型的优化也就集中在两个方面:一是计算性能方面的优化;二是I/O操作方面的优化1、任务调度两个方面的优化:一是计算方面:Hadoop总会先将任务分配给空闲的机器,使所有的任务能公平地分享系统资源;二是I/O方面:Hadoop会尽量将map任务分配给InputSplit所在的机器,...

MapReduce计算模型

MapReduce被广泛应用于日志分析、海量数据的排序、在海量数据中查找特定模式等场景中。一、MapReduce的优势1、可使用编程语言的多样性:map和reduce程序的编写可用Python/PHP/C++/Java等语言2、适用性强:可以在任何安装Hadoop集群中运行同样的程序3、高效性:多台主机一同处理数据。适用于处理大量的数据(这一点有点像是操作系统中程序的并发概念。也可...

字节码指令简介(笔记)

Java虚拟机指令的组成:操作码(Opcode,一个字节长度的、代表着某种特定操作含义的数字)+多个操作数(Operands,此操作所需的参数)。Java虚拟机采用面向操作数栈而不是寄存器的架构,所以大多数指令都不包含操作数。字节码指令集的特点:A、指令集的操作码总数不可能超过256条;B、当数据大小超过一个字节时,Java虚拟机需要重构出具体数据的结构。(比如:将一个16位长度的无符号整数使..

虚拟机太卡的解决方案之一——Xshell的安装使用

虚拟机的运行速度有时很令人崩溃,特别是当我们需要利用虚拟机构建大型集群的时候。前些时候在构建Hadoop集群的时候,由于需要一次性开启多个虚拟机,导致几乎无法在虚拟机界面中进行任何操作(卡得飞起的那种)。于是决定放弃应用界面,使用xshell来远程连接使用Ubuntu虚拟机。一、Xshell安装教程:https://blog.csdn.net/wangpai_yonghu/article/de..

虚拟化技术

提到虚拟化技术,大多数人想起的都是VMware、Virtual Box等这些软件,以为虚拟化技术就是虚拟机。但实际上,这种想法是不太准确的,虚拟化技术是一个很宽泛的概念,VMware、Virtual Box只是基于其中的一种技术来实现的。今天,我们就来了解一下虚拟化技术。一、简介1、虚拟化的定义:指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机,每个逻...

在Ubuntu18的虚拟机上搭建kaldi

博客主体内容转载自:https://blog.csdn.net/by21010/article/details/49072699在进行kaldi安装之前我们需要先做一些准备1、虚拟机性能配置内存至少4G(最好给个五六G,4G的话在编译的时候还是很有可能会出现长时间卡顿的现象,如果你的电脑只有4G内存,那就只能买个内存条了)处理器建议给四个,编译速度比较快,差不多半个多小时吧(...

    共 13 条
  • 1
  • 2
  • 请选择