真实踩坑：用 OpenAI Codex 搞批量重构，为什么 40%-60% 的 PR 都得我手动擦屁股？

yaoxiaoganggang

279人浏览 · 2026-06-09 13:56:10

yaoxiaoganggang · 2026-06-09 13:56:10 发布

真实踩坑：用 OpenAI Codex 搞批量重构，为什么 40%-60% 的 PR 都得我手动擦屁股？

上周，老板把我叫进会议室：“老王，听说现在 AI 写代码很牛？咱们那个祖传的内部老系统，几百个 Service 类，你用 OpenAI Codex 批量重构一下，弄个自动化流水线，争取这周搞定。”

我当时心里暗喜，心想有了 Codex 这把屠龙刀，摸鱼的日子终于要来了。于是我立刻接入 API，写好 Prompt，一晚上跑出了 120 个 PR。

结果第二天看结果，我直接头皮发麻——真正能直接 Merge 的 PR 连一半都不到！ 剩下的 40%-60% 全是坑，有的引入了编译错误，有的甚至把核心业务逻辑给改丢了。原本想摸鱼，结果变成了给 AI 擦了一整天的屁股。

💡 先给结论：AI 是超级打字员，但绝对不是高级工程师

在经历了一周的折腾、复盘和流程重塑后，我得出一个血泪结论：
现阶段用 AI 做批量代码重构（Bulk Refactoring），千万别指望它能“一键完成”。

Codex（以及类似的 LLM）非常擅长干脏活累活（比如改包名、替换废弃 API），但极度缺乏全局上下文。如果你想把它引入团队的日常开发流，必须建立“沙盒运行 + 自动化测试卡点 + 人工 Diff 审查”的三道防线，否则 AI 生成的 Technical Debt 会把你淹没。

一、初次尝试：给 Codex 下达“完美”的重构指令

我们的任务很简单：老系统里大量的 Date 和 SimpleDateFormat 要全部替换为 Java 8 的 LocalDateTime 和 DateTimeFormatter。

我写了这样一个 Prompt 给 Codex，并配了一个脚本循环调用：

❌ 最初的 Prompt 设计（太泛、没有约束）：
“你是一个资深的 Java 开发工程师。请重构以下 Java 类，将所有的 java.util.Date 替换为 java.time.LocalDateTime，将 SimpleDateFormat 替换为 DateTimeFormatter。确保逻辑不变，直接返回完整的代码：”

为了批量执行，我写了下面这个 Shell 脚本核心逻辑：

# ❌ 错误的自动化流程：直接跑 API 拿结果强行 push
for file in $(find ./src -name "*.java"); do
    # 读取文件内容并调用 Codex API
    response=$(curl -s -X POST "https://api.openai.com/v1/chat/completions" \
      -H "Authorization: Bearer $API_KEY" \
      -d "{\"model\": \"gpt-4\", \"messages\": [{\"role\": \"user\", \"content\": \"$PROMPT: $(cat $file)\"}]}"
    )
    # 解析出代码并强行覆盖本地文件
    echo $response | jq -r '.choices[0].message.content' > $file
    git add $file
done
git commit -m "refactor: batch migrate to Java 8 Time API"
git push origin feature/ai-refactor

跑完之后，GitHub 上瞬间多出 120 个 Commit。我以为大功告成了，直到 CI/CD 流水线飘红一片……

二、触目惊心的 PR 审查：40%-60% 的“幻觉”灾难

在排查了几十个报错的 PR 后，我总结了 Codex 在批量重构中常犯的三个致命错误（也是大家以后必然会遇到的坑）：

1. 编译级语法错误：自作聪明的“幻觉”

Codex 有时候会“忘记”你在改什么，强行发明语法。比如在处理时间差时，它给出了这种代码：

// ❌ AI 生成的致命错误代码
Date oldDate = ...;
LocalDateTime newDate = LocalDateTime.from(oldDate); // 编译直接报错！Date 和 LocalDateTime 没有直接转换关系

✅ 正确的人工修正：

Date oldDate = ...;
Instant instant = oldDate.toInstant();
LocalDateTime newDate = LocalDateTime.ofInstant(instant, ZoneId.systemDefault());

2. 业务逻辑丢失：丢了上下文的受害者

在某个计费模块中，原代码特意去除了夏令时的影响：

// ⚠️ 原始业务代码
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
sdf.setTimeZone(TimeZone.getTimeZone("GMT")); // 关键业务逻辑！
String dateStr = sdf.format(date);

Codex 重构后：

// ❌ AI 生成的代码（直接把时区逻辑干没了，导致计费会出现±1天的 Bug）
DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd");
String dateStr = localDateTime.format(formatter);

✅ 正确的人工修正：

DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd")
    .withZone(ZoneOffset.UTC); // 必须补回时区上下文！

3. Token 截断问题：大文件直接被腰斩

这个坑最隐蔽！一些老系统动辄几千行的 God Class，在传给 API 时超出了 Token 限制（或者被 max_tokens 截断）。Codex 拿到了前半段代码，生成的 PR 直接把后半段几百行代码删掉了！导致类直接变成残废。

三、亡羊补牢：我重新设计了 AI 辅助编码的工作流

出了大篓子后，我赶紧回滚，并花了一天时间重新设计了与 AI 协作的工程化流水线。核心思想就八个字：小事自动化，大事必审批。

以下是可落地的 Java 项目重构工作流：

1. 细粒度的 Git 控制（每个文件一个 PR）

不要把所有改动揉在一个 Commit 里！一旦出错，回滚成本极高。改为通过脚本创建独立分支，每个类文件的改动生成一个独立的 PR。

# ✅ 正确姿势：每个文件独立 PR，方便 Code Review 和孤立测试
for file in $(find ./src -name "*.java"); do
    branch_name="refactor/ai-$(basename $file .java)"
    git checkout main
    git checkout -b $branch_name
    
    # ... 调用 API 覆盖文件 ...
    
    git add $file
    git commit -m "feat: refactor $(basename $file) to LocalDateTime"
    git push origin $branch_name
    
    # 使用 GitHub CLI 自动创建 PR 并请求人工 Review
    gh pr create --title "AI 自动重构: $(basename $file)" \
                 --body "⚠️ 请重点审查业务逻辑与时区转换是否丢失。" \
                 --reviewer my-tech-lead
done

2. 设计更严格的 Prompt（加上沙盒思维）

不要让 AI 瞎发挥，必须用指令框死它的行为边界。

✅ 修正后的 Prompt 设计：
"你是一个代码重构工具。我将给你一段 Java 代码，请只执行以下操作：

将 java.util.Date 转为 java.time.LocalDateTime，请务必使用 Date.toInstant().atZone(ZoneId.systemDefault()).toLocalDateTime() 的标准转换路径。

如果原代码有设置特定的 TimeZone，必须在新的代码中保留对应的 ZoneId 逻辑。

不要修改除时间类以外的任何其他业务逻辑。

仅返回被替换的代码块，不要返回完整文件。如果文件过长，返回你认为有改动的局部方法即可。"

3. 接入自动化测试卡点

AI 写的代码必须过 CI 这道鬼门关。在 pom.xml 中配置 JaCoCo（覆盖率检查），并在 GitHub Actions 中加入编译检查。

如果一个 AI 提交的 PR 导致 mvn clean compile 报错，或者已有的 Unit Test 挂掉，这个 PR 自动打上 ❌ invalid 的标签，驳回重新生成。

# ✅ GitHub Actions 核心卡点配置
name: AI PR Validation
on:
  pull_request:
    branches: [ main ]
jobs:
  build-and-test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - name: Set up JDK 17
        uses: actions/setup-java@v3
        with:
          java-version: '17'
          distribution: 'temurin'
      - name: Build with Maven
        run: mvn clean compile # 连编译都过不了的 AI 代码直接毙掉
      - name: Run Tests
        run: mvn test