宝塔 + Docker 混用踩坑:容器停了网站还能开?CNI 残留端口排查实战
宝塔 + Docker 混用踩坑:域名能访问但页面不更新、容器停了还能打开站点?一篇讲透排查与修复
适用场景:腾讯云 CVM + 宝塔 Nginx 反代 + Docker Compose 部署前端/后端;卸载/重装 Docker、混用过 Podman 后出现「怪现象」。
本文按真实排障顺序书写,方便对照复现与复盘。
一、现象汇总(你可能中招的几种)
- 代码已经在
master,Docker 也 build / up 了,浏览器页面还是旧 UI(例如旧「热门榜」侧栏,而不是新的「热门爆款」)。 docker ps里前端/后端容器已经Exited,访问 https://你的域名 却仍能打开。ss/lsof看不到18090监听,但curl http://127.0.0.1:18090却返回 200。- 清理容器、删网络、甚至
systemctl restart docker之后,iptables/nft 里仍有指向172.28.0.x的 DNAT。 - 装官方 Docker CE 时 yum 冲突、拉 Hub 超时、compose 找不到等问题(附属坑)。
表面看像「反代坏了」「构建没生效」,根因往往是:流量根本没打到你以为的那个容器上。
二、目标架构(先建立正确心智模型)
以测试站 test.web.cn 为例,正确链路应是:
浏览器
→ HTTPS :443(宝塔 Nginx)
→ proxy_pass http://127.0.0.1:18090
→ docker-proxy
→ 前端容器(如 172.30.0.11:80)
→ /api 再反代到后端容器(如 172.30.0.10:8000)
宝塔站点配置里关键几行通常长这样:
server_name test.web.cn;
root /www/wwwroot/test.web.cn; # 有反代时,业务流量主要不靠这个 root
location ^~ / {
proxy_pass http://127.0.0.1:18090;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
因此:
- 改代码 / 重建镜像 → 影响的是
18090后面的前端容器内容; - 宝塔 Nginx 挂了 → 域名
443直接ERR_CONNECTION_REFUSED; 18090被旧 CNI 拐走 → 域名「能开」,但永远是旧页面。
三、排障路线图(建议严格按顺序)
① 源码是否已是新版?
② 运行中的前端镜像/静态资源是否含新关键字?
③ 宝塔反代是否指向 127.0.0.1:18090?
④ 18090 到底是谁在应答?(ss / curl / iptables)
⑤ 是否存在残留 netns / 残留 CNI DNAT?
⑥ 清理后用新网段重新 up,并确认 Last-Modified / DNAT 目标 IP
⑦ 宝塔 Nginx 443 是否在听?
下面按步骤展开命令与判读方法。
四、步骤 1:先确认代码本身有没有新页面
在项目目录执行:
cd /path/to/web-new-pc
git rev-parse --short HEAD
git branch --show-current
# 新版前端组件是否存在
ls frontend/apps/web-ele/src/views/yb/order-center/overseas-story/components/hot-burst-row.vue
grep -n 'library-tabs\|HotBurstRow' \
frontend/apps/web-ele/src/views/yb/order-center/overseas-story/index.vue | head
判读:
| 结果 | 含义 |
|---|---|
文件存在且 grep 有 HotBurstRow / library-tabs | 源码已是新版,问题在部署链路 |
| 没有这些文件 | 分支/提交不对,先 git pull 再谈构建 |
补充:若 git pull 因本地改过 backend/.env 失败:
git stash push -m "server-env" -- backend/.env
git pull
git stash pop # 冲突时以服务器真实库地址/密码为准
五、步骤 2:确认「正在跑的前端包」是不是旧的
docker ps --filter name=YoubaoNewPc-frontend --format '{{.ID}} {{.Image}} {{.CreatedAt}}'
IMG=$(docker inspect YoubaoNewPc-frontend --format '{{.Image}}')
docker run --rm --entrypoint sh "$IMG" -c \
'grep -Rsl "热门爆款\|library-tabs" /usr/share/nginx/html/assets 2>/dev/null | head; echo done'
curl -sI http://127.0.0.1:18090/ | grep -iE 'HTTP|Last-Modified|ETag|Server'
判读:
- 镜像里搜不到新关键字 /
Last-Modified是很早以前的日期 → 镜像是旧包,需要:
export DOCKER_REGISTRY_MIRROR=docker.m.daocloud.io/library/ # 国内拉 Hub 常用
docker compose -f docker-compose.prod.yml build --no-cache frontend
docker compose -f docker-compose.prod.yml up -d --force-recreate frontend
- 源码新、镜像也新,浏览器仍旧 → 清浏览器缓存或无痕窗口;并检查宝塔
proxy_cache_dir。
六、步骤 3:核对宝塔反代(很多人第一步就查错方向)
grep -Rsn "你的域名" /www/server/panel/vhost/nginx/
grep -nE 'root |proxy_pass' /www/server/panel/vhost/nginx/你的域名.conf
若已是 proxy_pass http://127.0.0.1:18090;,说明反代配置本身通常没问题,不要先怀疑「指到了网站根目录静态文件」。
有 location ^~ / { proxy_pass ... } 时,业务流量走反代,不走 root。
七、步骤 4:抓住「矛盾现场」(本文核心)
典型矛盾输出:
docker ps -a | grep -i web
# → YoubaoNewPc-frontend Exited
ss -lntp | grep 18090
# → 空
curl -sI http://127.0.0.1:18090/
# → HTTP/1.1 200 OK ,Last-Modified 却是旧日期
这时立刻查 NAT:
iptables -t nat -L -n -v | grep -E '18090|18000'
nft list ruleset 2>/dev/null | grep -E '18090|18000'
若看到类似:
DNAT tcp dpt:18090 to:172.28.0.11:80
且计数器在涨(packets > 0),结论就是:
宿主机 18090 被 CNI/iptables DNAT 到了旧网桥 IP;真正应答的不是当前
docker ps里的容器。
再验证残留 IP:
curl -sI --max-time 2 http://172.28.0.11/ | head -10
ip -4 addr | grep 172.28
ls /run/netns
若存在 cni-podman1、/run/netns/netns-xxxx,基本实锤:Podman/旧 CNI 残留网络命名空间(即使系统里已经没有 podman 命令)。
八、步骤 5:定位并清理「残留 netns」
列出残留命名空间里的地址与监听:
for ns in /run/netns/*; do
name=$(basename "$ns")
echo "======== $name ========"
ip netns exec "$name" ip -4 addr
ip netns exec "$name" ss -lntp
done
真实案例中常见:
| netns | IP | 监听 | 含义 |
|---|---|---|---|
| netns-A | 172.28.0.11 | nginx :80 | 残留前端(旧静态资源) |
| netns-B | 172.28.0.10 | php :8000 | 残留后端 |
按 ss 里显示的 PID 强杀(PID 以你机器为准):
kill -9 <nginx主进程及worker PID...> <php PID>
ip netns exec <前端netns名> killall -9 nginx 2>/dev/null
ip netns exec <后端netns名> killall -9 php 2>/dev/null
删除 netns、拆掉旧网桥:
ip netns del <前端netns名>
ip netns del <后端netns名>
ls /run/netns # 应为空
ip link set cni-podman1 down 2>/dev/null
ip link delete cni-podman1 2>/dev/null
ip -4 addr | grep 172.28 || echo "172.28 gone"
清理 18090/18000 相关 NAT(循环删到 grep 为空):
for chain in PREROUTING OUTPUT; do
while num=$(iptables -t nat -L "$chain" -n --line-numbers | awk '/18090|18000|CNI-DN-|CNI-HOSTPORT/{print $1; exit}'); do
[ -n "$num" ] || break
iptables -t nat -D "$chain" "$num" || break
done
done
iptables -t nat -L -n | grep -E '18090|18000' || echo "NAT cleared"
验收(这两步必须失败/超时):
curl -sI --max-time 2 http://172.28.0.11/ || echo "stale frontend gone"
curl -sI --max-time 2 http://127.0.0.1:18090/ || echo "18090 dead"
只有确认残留进程已清掉,再 compose up 才有意义;否则宝塔反代会继续打到旧 IP。
九、步骤 6:用干净网段重新拉起 Compose
旧项目若把 bridge 固定在 172.28.0.0/16,极易与 cni-podman1 冲突。建议改为例如 172.30.0.0/16:
docker-compose.prod.yml 示例:
services:
backend:
networks:
YoubaoNewPcBridgeNet:
ipv4_address: 172.30.0.10
frontend:
networks:
YoubaoNewPcBridgeNet:
ipv4_address: 172.30.0.11
networks:
YoubaoNewPcBridgeNet:
driver: bridge
ipam:
config:
- subnet: 172.30.0.0/16
gateway: 172.30.0.1
前端容器内 Nginx 反代后端也要同步,例如:
location /api/ {
proxy_pass http://172.30.0.10:8000;
}
注意: 只改容器 IP、不改 subnet,会报:
no configured subnet or ip-range contain the IP address 172.30.0.10
需要 docker compose down 删掉旧 network 再 up(或先 docker network rm ...)。
启动:
cd /path/to/web-new-pc # 不要在错误目录执行!
systemctl start docker
docker compose -f docker-compose.prod.yml up -d --force-recreate
ss -lntp | grep -E '18090|18000'
iptables -t nat -L -n | grep -E '18090|18000'
# 期望:to:172.30.0.11:80 / to:172.30.0.10:8000
# 不应再出现 172.28.0.11
curl -sI http://127.0.0.1:18090/ | grep -iE 'HTTP|Last-Modified|Server'
docker ps
若仍同时存在 172.28 与 172.30 两套 DNAT,把旧 CNI 规则按上一节继续删干净。
十、步骤 7:域名仍 ERR_CONNECTION_REFUSED 时查 443
容器 OK、curl 127.0.0.1:18090 OK,但浏览器提示「拒绝连接」,多半是 宝塔 Nginx 没在听 80/443:
ss -lntp | grep -E ':80|:443'
nginx -t
/etc/init.d/nginx restart
# 或 systemctl restart nginx
curl -Ik --resolve test.web.cn:443:127.0.0.1 https://test.web.cn/ | head -15
整条链路自检:
curl -sI http://127.0.0.1:18090/ | head -5
curl -Ik https://127.0.0.1/ -H 'Host: test.web.cn' | head -10
浏览器用无痕窗口打开域名。
十一、附属坑:安装 Docker / 构建镜像时常见问题
11.1 宝塔 Docker 卸掉后,docker 变成 Podman 模拟
报错示例:
Emulate Docker CLI using podman
looking up compose provider failed
处理:安装真正的 Docker CE + compose 插件,不要继续用宝塔 Docker;也不要混用未清理干净的 Podman CNI。
11.2 TencentOS 装 Docker CE:$releasever 变成 3.3 → 404
rm -f /etc/yum.repos.d/docker-ce.repo
curl -fsSL -o /etc/yum.repos.d/docker-ce.repo \
https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sed -i 's/\$releasever/8/g' /etc/yum.repos.d/docker-ce.repo
yum install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin --allowerasing
systemctl enable --now docker
--allowerasing 用于解决 containerd.io 与系统 runc(AppStream/Podman 模块)冲突。
11.3 构建拉不到 php:8.4-cli(Docker Hub 超时)
配置 daemon 镜像加速,或构建时加前缀:
# /etc/docker/daemon.json
{
"registry-mirrors": [
"https://mirror.ccs.tencentyun.com",
"https://docker.m.daocloud.io"
]
}
systemctl restart docker
# 或单次构建
export DOCKER_REGISTRY_MIRROR=docker.m.daocloud.io/library/
./scripts/exc_build.sh build
11.4 容器访问腾讯云 MySQL 内网:No route to host
对照实验:
# 宿主机往往通
nc -zv 172.21.0.7 3306
# 默认 bridge 可能通
docker run --rm busybox nc -zv 172.21.0.7 3306
# 项目自定义网桥(旧 172.28)可能不通
docker run --rm --network web-new-pc_YoubaoNewPcBridgeNet busybox nc -zv 172.21.0.7 3306
若「默认通、项目网不通」,优先怀疑 网段与 cni-podman 冲突 / FORWARD/NAT,而不是数据库账号。
内网连接注意端口配对:内网 IP 用 3306,外网域名常用映射端口(如 23250),不要混用。
十二、复盘:这次问题的「一句话因果链」
- 历史上用 Podman/CNI(或宝塔 Docker)起过前端/后端,网桥落在
172.28.0.0/16,并写入 hostport DNAT:18090→172.28.0.11。 - 后来容器在
docker ps里显示退出,甚至 Docker 重装,netns 里的 nginx/php 与 CNI 规则却还活着。 - 宝塔 Nginx 一直
proxy_pass到127.0.0.1:18090,流量被 DNAT 进残留 netns,所以:- 容器停了域名还能开;
- 新镜像 up 了页面仍是旧的(或和残留规则抢流量)。
- 清掉残留 netns + 旧 NAT,改用
172.30网段重新 up,宝塔 443 正常后,链路才真正指向新前端。
十三、建议的「健康检查」清单(可做成上线脚本)
每次发布后执行:
#!/bin/bash
set -e
echo "== containers =="; docker ps --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'
echo "== listen =="; ss -lntp | grep -E '18090|18000|:443|:80' || true
echo "== frontend header =="; curl -sI http://127.0.0.1:18090/ | grep -iE 'HTTP|Last-Modified|Server'
echo "== nat =="; iptables -t nat -L -n | grep -E '18090|18000' || true
echo "== leftover netns =="; ls /run/netns 2>/dev/null || echo '(none)'
echo "== 172.28 =="; ip -4 addr | grep 172.28 || echo '(none)'
异常信号:
/run/netns非空且与业务无关;- NAT 同时出现
172.28与172.30; docker ps无容器但curl :18090仍 200;443无 nginx 监听。
十四、经验教训(发到 CSDN 也可当结语)
docker ps不是真理:还要看ss、curl、iptables/nft、/run/netns。- 宝塔反代「配置正确」≠「打到正确进程」:中间可能被 CNI DNAT 劫持。
- 不要混用宝塔 Docker / Podman / 官方 Docker 而不清理 CNI。
- 固定容器 IP 时避开常见冲突网段(如本机已有
cni-podman的172.28/16)。 - 验证部署是否更新,看静态资源
Last-Modified/ 包内关键字,比「我 build 过了」更可靠。 - 域名
CONNECTION_REFUSED先查 宿主机 80/443,别只盯着容器。
十五、快速命令速查(复制区)
# 宝塔反代指向
grep -nE 'proxy_pass|root ' /www/server/panel/vhost/nginx/你的站点.conf
# 谁在答 18090
ss -lntp | grep 18090
curl -sI http://127.0.0.1:18090/ | head
iptables -t nat -L -n -v | grep 18090
# 残留 netns
ls /run/netns
for ns in /run/netns/*; do ip netns exec "$(basename "$ns")" ss -lntp; done
# 清理后重建(示例)
cd /path/to/web-new-pc
docker compose -f docker-compose.prod.yml down
docker compose -f docker-compose.prod.yml up -d --force-recreate
/etc/init.d/nginx restart
作者说明: 本文基于腾讯云 CVM + 宝塔 Nginx + Docker Compose 实战排障整理,命令中的 IP、PID、域名请按现场替换。若你有更干净的「一键清理 CNI hostport」脚本,欢迎在评论区补充。
(完)
更多推荐


所有评论(0)