第一章在大数据生态系统里, Java整合存在相应概述, 其作为分布式存储与计算的核心框架, 被广泛应用于各种海量数据处理场景, Java作为相关的原生开发语言, 与之作深度整合, 进而为开发者给予了高效且稳定的编程接口, 借助Java API, 用户能够直接去操作HDFS文件系统, 提交相关任务, 并且与YARN资源调度器进行交互, 以此实现对集群资源的精细控制, 其展现出整合优势当中的核心组件交互方式, 其中组件为Java, 还有交互方式。

HDFS

使用 类进行文件读写

通过继承 和 类编写任务逻辑

YARN

利用 提交和监控应用程序

基础代码示例：读取 HDFS 文件

// 配置 Hadoop 环境
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
// 获取文件系统实例
FileSystem fs = FileSystem.get(conf);
// 打开并读取文件
Path filePath = new Path("/user/input/data.txt");
try (FSDataInputStream inputStream = fs.open(filePath)) {
    String content = IOUtils.toString(inputStream, "UTF-8");
    System.out.println(content); // 输出文件内容
}

上述代码呈现了怎样运用Java客户端去连接集群, 并且读取HDFS里的文本文件。在执行的时候, 要保证配置文件, 像core-site.xml, 已经被正确加载, 或者经由代码完成配置。第二章: 原生API集成方案2．1 Java API核心组件解析, Java API是开发分布式应用的核心工具集, 主要由、、Job等类构成, 对文件操作以及任务调度起到支撑作用。配置管理, 有这样一类, 它被用于去加载配置文件, 像core - site.xml、hdfs - site.xml这类, 借助键值对来对运行时参数加以管理。

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");

那种代码, 明确地去设置默认的文件系统地址, 它会自动去加载后续的XML配置, 并且还支持进行动态覆盖。关于文件系统的交互, 抽象这一情况是HDFS文件操作当中的入口之处, 它会提供像是文件创建、删除、读写等方面的方法。核心组件关系表, 组件有着相应作用, 有着典型的调用。

管理配置参数

conf.set(key, value)

执行HDFS操作

fs.(path, )

2.在正式开启项目开发之前, 要着手搭建本地开发环境并进行依赖配置, 正确地对本地环境予以配置是保障后续流程顺畅开展的根基, 首先必须对核心工具链加以安装, 这其中涵盖了编程语言运行时、包管理器以及版本控制工具, 以基础软件安装来说, 要是以Go语言当作示例, 那就需要去下载并安装与当前操作系统相匹配的Go环境, 还要对GOBIN环境变量进行配置, 可借助以下命令来对安装情况予以验证:

go version

该命令会输出当前所安装的 Go 版本的相关信息, 以此来保证版本是契合项目要求的（像是 v1.20 及以上）。依赖管理借助 go mod 来对项目的依赖管理进行初始化:

go mod init example/project

这个命令会生成go.mod文件, 它用于记录模块路径以及依赖版本。之后能够借助go get来添加第三方库, 比如说:

go get github.com/gin-gonic/gin@v1.9.0

能精确指定版本, 这可避免因为依赖出现漂移而引起兼容性方面的问题。对于工具的用途, 推荐相应版本。

Go

语言运行时

v1.20+

Git

版本控制

2.30+

Make

任务自动化

4.0+

2.在生态系统里, 实现HDFS文件操作实战这一情况存在着, HDFS作为底层存储系统, 它具备高吞吐量的文件访问能力有此情况, 借助Java API或者命令行工具, 开发者能够实现对HDFS进行增删改查操作有此情况, 存在HDFS Java API文件上传示例。

// 配置HDFS连接
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
FileSystem fs = FileSystem.get(conf);
// 上传本地文件到HDFS
Path srcPath = new Path("/local/file.txt");
Path dstPath = new Path("/user/hdfs/file.txt");
fs.copyFromLocalFile(srcPath, dstPath);
fs.close();

上述代码借助指定地址, 经由实例调用达成上传, 参数是本地路径, 是目标HDFS路径。常用HDFS Shell命令2.4任务的Java调用实践于生态里, 借助Java API提交任务是达成大数据处理的核心方式中的一种。开发者要构建Job实例且配置各类参数去驱动分布式计算。Job配置与任务提交通过Job.()创建作业对象, 同时设置、类以及输入输出格式。

Job job = Job.getInstance(conf);
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizeMapper.class);
job.setReducerClass(SumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);

在上述代码里, 为了定位JAR包而指定主类, 让其阻塞执行并输出进度方面的信息。关键配置项目存在说明, 2.5对于连接安全集群的认证处理机制而言, 当访问受到保护的大数据集群的时候, 认证是构建可信连接的首要步骤。作为主流的身份验证协议, 它被广泛应用于、HBase等组件的安全架构当中。基于的认证流程的情况是, 用户首先借助kinit命令去获取票据授权票据也就是TGT, 之后在访问服务时由密钥分发中心即KDC签发服务票据。

kinit -kt /path/to/user.keytab user@REALM.COM

该命令依靠密钥表文件达成非交互方式之身份认证, 此情形适用于自动化场景。其中, -kt所指为密钥表路径, user@REALM.COM乃完整主体名。客户端配置示例里, Java客户端要指定JAAS配置文件用以启用认证:

com.sun.security.jgss.initiate {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/path/to/service.keytab"
    principal="service/host@REALM.COM";
};

这个 JAAS 配置是用来进行服务间认证的, 其目的在于保证客户端能够凭借指定主体的身份, 向集群证实自身具备合法性, 这里对参数作出说明。

启用密钥表认证模式

密钥文件路径，需具备读取权限

服务主体名称，必须与 KDC 注册一致

第三章经过抽象核心组件依据简化集成原理达成所谓的生态整合, 这极大地削减了Java应用跟生态的集成复杂程度。它借助IoC容器去管理HDFS以及YARN等组件的配置和生命周期, 以此达成声明式配置。那种配置驱动的集成模式借助XML或者Java方式来定义配置, 进而实现自动装配实例。

  fs.defaultFS=hdfs://localhost:9000

上述配置会创建一个供后续组件复用的共享的“org...conf.”Bean, 构建基于的分布式数据处理应用时。集成需通过的IoC容器管理配置与上下文, 核心在于将对象交由容器托管, 统一资源访问抽象扩展了机制, 支持“hdfs:”协议: 3.2使用配置连接与上下文, 要定义配置Bean。

@Configuration
public class HadoopConfig {
    
    @Bean
    public org.apache.hadoop.conf.Configuration hadoopConfiguration() {
        org.apache.hadoop.conf.Configuration conf = new org.apache.hadoop.conf.Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("mapreduce.framework.name", "yarn");
        conf.set("yarn.resourcemanager.address", "localhost:8032");
        return conf;
    }
}

在上述代码里头, ()方法会返回一个早就预设好了HDFS地址以及YARN框架参数的实例。关键属性fs, 它指定默认文件系统URI, 如此能够确保后续HDFS操作可以正确进行路由。依赖注入以及上下文使用借助@能够把配置注入到服务类, 进而构建m或者提交任务, 达成配置跟业务逻辑的解耦, 以此提升可测试性以及可维护性。3.3 +批处理应用开发在构建大规模数据批处理系统之际， 与 的整合给予了企业级配置管理跟分布式计算能力的结合。依赖注入的通过, 能够使Job的配置流程得以简化。那种关于配置集成环境在使用管理任务上下文, 而这种注入Job实例的方式, 可以采用XML或者Java形式:

@Configuration
public class HadoopConfig {
    @Bean
    public Job hadoopJob() throws IOException {
        Job job = Job.getInstance();
        job.setJarByClass(DataProcessor.class);
        job.setMapperClass(LogMapper.class);
        job.setReducerClass(SumReducer.class);
        return job;
    }
}

上述代码借助容器来管理Job的生命周期, 指定主类, 并且是由框架自动进行绑定。任务调度与解耦的第四章, 也就是基于REST接口的轻量级集成的4.1部分, REST API详解给出了一套基于HTTP的接口, 该接口用于跟分布式文件系统开展交互。凭借标准的HTTP方法 , 也就是GET、PUT、POST这些, 用户能够在远程操作执行文件的读写、目录管理等。核心HTTP操作映射典型请求示例。

GET http://namenode:50070/webhdfs/v1/user/data.txt?op=OPEN&offset=0&length=1024

此请求凭借OPEN操作去打开文件, 参数的说明是, 响应会返回临时重定向, 客户端需要跟随头至直接下载数据, 从而实现高效传输。4.2在Java里运用调用文件服务于Java应用之中, 借助调用文件服务已然变为达成文件上传、下载的标准方式当中的一种。自Java 11开始, 被正式归入标准库, 支持同步与异步请求, 提高了开发效率。基本的使用流程先是创建实例, 接着构建对象, 指定目标URL以及请求体, 最后发送请求并处理响应。

var client = HttpClient.newHttpClient();
var request = HttpRequest.newBuilder()
    .uri(URI.create("http://example.com/upload"))
    .header("Content-Type", "application/octet-stream")
    .POST(HttpRequest.BodyPublishers.ofFile(Paths.get("file.txt")))
    .build();
var response = client.send(request, HttpResponse.BodyHandlers.ofString());
System.out.println(response.body());

上述代码呈现出文件上传的关键核心理念, 其中, “.”被用以发送本地文件, “.”使用括号来处理文本响应, 这种途径适宜于大文件的传输, 有着不错的性能展现。常见的请求头设置4.3 YARN REST API监控与提交任务实战, YARN REST API基础调用, YARN给出REST接口以用于监控资源以及提交应用, 常用的端点涵盖了/ws/v1//获取集群指标, 还有/ws/v1//apps查询应用状态。

curl -H "Accept: application/json" \
  "http://rm-host:8088/ws/v1/cluster/metrics"

发出的该请求, 会返回呈现为JSON格式的集群摘要, 涵盖内存使用情况、活跃节点数量等方面, 这适用于实时监控系统进行集成, 借助API提交任务时, 能够构造POST请求前往/ws/v1//apps来提交应用, 且需要在请求体当中将其指定, 响应之后还要对字段进行解析, 给出字段说明。