在大数据处理领域，Hadoop已经成为了一个不可或缺的框架，而Java作为Hadoop的主要编程语言，其重要性也不言而喻。今天，我们将通过一个具体的Java示例，深入探讨在Hadoop环境下如何进行文件操作以及流程控制。

1.示例背景  

package ww.zy;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.IOException;
import java.util.ArrayList;

public class wss {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "192.168.122.3:8020");
        System.setProperty("HADOOP_USER_NAME", "root");
        FileSystem fs = FileSystem.get(conf);

        Path filePath = new Path("/backup/20251020/local_data.txt");
        Path fromPath = new Path("E:\\wangss\\local_data.txt");
        Path toPath = new Path("/backup/20251020");

        // 检查文件是否存在
        if (fs.exists(filePath)) {
            System.out.println("文件已存在");
        } else {
            fs.copyFromLocalFile(fromPath, toPath);
            System.out.println(filePath + "上传成功");
        }

        ArrayList<String> date = new ArrayList<>();
        System.out.println("循环次数：" + (date.size() - 2));

        // 二次验证文件状态
        if (fs.exists(filePath)) {
            System.out.println("文件确认存在");
        } else {
            fs.copyFromLocalFile(fromPath, toPath);
            System.out.println(filePath + "重新上传（异常情况）");
        }

        // 路径操作示例
        String[] arr = {toPath.toString()};
        
        // 删除路径操作
        Path rmPath = new Path("/backup/20251016");
        if (!fs.exists(rmPath)) {
            System.out.println(rmPath + "路径为空");
        } else {
            fs.delete(rmPath, true);
            System.out.println(rmPath + "删除成功");
        }

        Path roPath = new Path("/backup/20251017");
        if (!fs.exists(roPath)) {
            System.out.println(roPath + "路径为空");
        } else {
            fs.delete(roPath, true);
            System.out.println(roPath + "删除成功");
        }
    }
}

3.流程控制与操作细节

1. 配置与初始化‌：

1.1 通过Configuration对象设置HDFS的默认访问路径：

• 创建Configuration对象实例
• 使用set方法设置核心配置参数，如：
  • fs.defaultFS：指定HDFS的NameNode地址（如：hdfs://namenode:8020）
  • dfs.replication：设置默认副本数（通常为3）
• 示例代码：

  Configuration conf = new Configuration();
  conf.set("fs.defaultFS", "hdfs://namenode:8020");
  

1.2 设置Hadoop用户名以便进行文件操作：

• 通过系统属性设置用户身份：
  • System.setProperty("HADOOP_USER_NAME", "hdfs")
  • 或者使用UserGroupInformation类进行Kerberos认证
• 注意：用户名需要与HDFS ACL权限配置匹配
• 生产环境建议使用Kerberos认证方式

1.3 使用FileSystem.get(conf)获取HDFS的文件系统对象：

• 调用FileSystem.get()方法获取文件系统实例
• 建议使用try-with-resources确保资源释放
• 典型初始化流程：

  try (FileSystem fs = FileSystem.get(conf)) {
      // 文件操作代码...
  }
  

• 异常处理：需要捕获IOException等异常
• 性能优化：可考虑缓存FileSystem实例重复使用

应用场景示例：

• 大数据处理作业初始化阶段
• 文件上传/下载服务启动时
• HDFS客户端工具连接配置

注意事项：

• 生产环境建议将配置参数外置到xml配置文件
• 高可用集群需要额外配置nameservice相关参数
• 安全集群需要配置Kerberos认证参数

1. 文件检查与上传流程详解：

2. 文件存在性检查

   • 使用Node.js的fs模块或Hadoop的FileSystem API中的fs.exists(filePath)方法进行验证
   • 检查路径可以是HDFS中的绝对路径（如：hdfs://namenode:8020/user/data/input.txt）
   • 示例代码：

     const fs = require('fs');
     if (fs.existsSync('/hdfs/path/to/file')) {
       console.log('文件已存在');
     }
     

3. 文件上传操作

   • 当文件不存在时，调用fs.copyFromLocalFile(fromPath, toPath)方法
   • 参数说明：
     • fromPath：本地文件系统路径（如：/home/user/local_file.csv）
     • toPath：HDFS目标路径（如：/user/hadoop/input_data.csv）
   • 上传过程包含以下步骤：
     1. 建立与HDFS集群的连接
     2. 创建目标目录结构
     3. 分块传输文件数据
     4. 验证文件完整性
   • 典型应用场景：
     • 将本地日志文件上传到HDFS进行分布式处理
     • 上传ETL作业的输入数据文件
     • 部署MapReduce作业所需的资源文件

4. 错误处理建议

   • 检查本地文件权限（至少需要读取权限）
   • 验证HDFS目标目录的写入权限
   • 处理网络中断等异常情况
   • 考虑大文件上传时的进度监控

3.流程控制示例‌：

1. 通过ArrayList的size()方法进行简单的循环次数计算：

   • 示例代码：

     ArrayList<String> list = new ArrayList<>();
     list.add("A");
     list.add("B");
     list.add("C");
     
     for(int i=0; i<list.size(); i++) {
         System.out.println(list.get(i));
     }
     

   • 这个示例虽然简单，但展示了如何利用集合的大小来控制循环次数
   • 实际应用中，更推荐使用增强for循环：

     for(String item : list) {
         System.out.println(item);
     }
     

2. 再次检查文件是否存在，以演示条件判断的冗余使用：

   • 示例代码：

     File file = new File("test.txt");
     
     if(file.exists()) {
         // 第一次检查
         System.out.println("文件存在");
         
         // 冗余的第二次检查
         if(file.exists()) {
             System.out.println("再次确认文件存在");
         }
     }
     

   • 这种冗余检查在实际开发中通常是不必要的
   • 可能的使用场景：
     • 在多线程环境下需要双重确认
     • 在文件操作特别关键时需要额外验证
   • 更好的做法是将文件对象缓存起来，避免重复调用exists()方法

4.路径操作与删除‌：

3.演示如何构造Path对象并进行存在性检查：

• 通过Paths.get()方法创建Path对象，支持多种参数形式：
  • 单个字符串路径：Paths.get("C:/data/files")
  • 可变参数：Paths.get("C:", "data", "files")
  • URI对象：Paths.get(URI.create("file:///C:/data/files"))
• 存在性检查示例：

  Path dataPath = Paths.get("data");
  if(Files.exists(dataPath)) {
      System.out.println("路径存在");
  } else {
      System.out.println("路径不存在");
  }
  

• 可结合Files.notExists()进行更精确的判断，注意二者并非严格互斥关系

4.使用fs.delete(path, true)删除路径及其内容：

• 参数说明：
  • path：要删除的Path对象
  • true：递归删除标志，表示删除目录及其所有子内容
• 典型应用场景：
  • 清理临时工作目录
  • 重置应用数据存储
  • 批量删除过期文件
• 示例代码：

  try {
      Files.deleteIfExists(Paths.get("temp")); // 非递归删除单个文件/空目录
      FileSystem fs = FileSystems.getDefault();
      fs.provider().delete(fs.getPath("backups"), true); // 递归删除目录树
  } catch (IOException e) {
      e.printStackTrace();
  }
  

• 注意事项：
  • 递归删除不可恢复，操作前建议确认路径内容
  • 可能抛出IOException，需妥善处理
  • 在Windows系统下可能遇到文件占用导致的删除失败

5.总结

通过这个示例，我们可以看到Java在Hadoop环境下进行文件操作的基本流程，包括文件的上传、检查、删除等。同时，也展示了如何在Java中进行简单的流程控制，如条件判断、循环次数的计算等。这些操作是大数据处理中非常基础且重要的部分，掌握它们对于进行更复杂的大数据处理任务至关重要。希望这个示例能对你的学习和实践有所帮助。