为了更直观地进行图像处理深度学习框架选型，并快速上手实践，特意整理了一份图像处理框架选型决策表和常用 CV 任务快速上手代码模板。

这份资料可以看作是各框架的总结及对比，旨在成为实际工作中的一份实用指南。

---

一、图像处理框架选型决策表

这份决策表将帮助你根据项目的具体需求，快速匹配最适合的深度学习框架。

决策维度	优先选择 PyTorch	优先选择 TensorFlow	优先选择 Keras	优先选择 MXNet	优先选择 Caffe/Caffe2
项目阶段	学术研究、原型验证	产品开发、大规模部署	快速原型、教学	兼顾开发与部署	成熟产品、固定 pipeline
团队背景	熟悉 Python，追求开发效率	有工程背景，关注性能优化	初学者，或需要快速验证想法	希望平衡灵活性与性能	有 C++ 开发能力，追求极致速度
核心需求	灵活性、易调试、动态计算	部署生态、静态计算图效率	易用性、极简 API	效率与灵活性并存	推理速度、资源占用低
硬件限制	一般（有良好的 CUDA 支持）	广泛（支持 CPU, GPU, TPU, 移动设备）	同后端框架（TensorFlow/PyTorch）	优秀（内存占用小，适合边缘设备）	极佳（对嵌入式设备友好）
社区与资源	学术论文复现首选，社区非常活跃	工业界应用广泛，官方教程丰富	入门教程多，问题易搜索	亚马逊支持，中文文档友好	相对小众，但在特定领域（如传统 CV）有积累
典型场景	- 新模型、新算法的探索与实现- 自定义 loss、layer 频繁的任务- 中小型项目快速迭代	- 需要部署到多平台的大型系统- 对推理延迟和吞吐量有严格要求- 利用 TPU 等专用硬件加速	- 快速验证一个想法或构建 baseline- 教学演示或初学者入门- 不太复杂的图像分类、回归任务	- 资源受限的边缘计算场景- 既需要快速开发又需要高效部署的项目	- 对成本和功耗敏感的嵌入式产品- 网络结构固定，不需要频繁改动的 legacy 系统

---

二、常用 CV 任务快速上手代码模板

以下是使用目前最主流的两个框架 PyTorch 和 TensorFlow 实现的常用 CV 任务代码模板。这些模板聚焦于快速实现，省略了部分数据预处理和模型训练的细节，旨在让你快速感受框架的使用方式。

环境准备

首先，请确保你已安装对应框架和相关依赖：

For PyTorch:

pip install torch torchvision opencv-python

For TensorFlow:

pip install tensorflow opencv-python

任务 1：图像分类 (Image Classification)

目标: 将输入图像分为预定义的类别之一（例如，猫或狗）。

PyTorch 模板:

import torch
import torchvision.models as models
import torchvision.transforms as transforms
from PIL import Image

# 1. 加载预训练模型 (例如 ResNet-50)
model = models.resnet50(pretrained=True)
model.eval() # 设置为评估模式

# 2. 定义图像预处理流程
preprocess = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])

# 3. 加载并预处理图像
image_path = "your_image.jpg" # 替换为你的图片路径
image = Image.open(image_path).convert('RGB')
input_tensor = preprocess(image)
input_batch = input_tensor.unsqueeze(0) # 增加一个batch维度

# 4. 执行预测
with torch.no_grad(): # 关闭梯度计算，节省资源
    output = model(input_batch)

# 5. 解析结果
_, predicted_idx = torch.max(output, 1)
print(f"预测类别索引: {predicted_idx.item()}")

# (可选) 加载ImageNet标签并显示类别名称
# with open("imagenet_classes.txt", "r") as f:
#     categories = [s.strip() for s in f.readlines()]
# print(f"预测类别名称: {categories[predicted_idx.item()]}")

TensorFlow 模板:

import tensorflow as tf
from tensorflow.keras.applications.resnet50 import ResNet50, preprocess_input, decode_predictions
from tensorflow.keras.preprocessing import image
import numpy as np

# 1. 加载预训练模型 (例如 ResNet-50)
model = ResNet50(weights='imagenet')

# 2. 加载并预处理图像
image_path = "your_image.jpg" # 替换为你的图片路径
img = image.load_img(image_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)

# 3. 执行预测
preds = model.predict(x)

# 4. 解析并打印结果
print('预测结果:', decode_predictions(preds, top=3)[0])
# decode_predictions 会直接返回类别名称和置信度

任务 2：目标检测 (Object Detection)

目标: 在图像中定位并识别多个对象（例如，同时识别出图中的人和车）。

PyTorch 模板 (使用 torchvision):

import torch
import torchvision
from PIL import Image
import matplotlib.pyplot as plt

# 1. 加载预训练的 Faster R-CNN 模型
model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=True)
model.eval()

# 2. 加载并预处理图像
image_path = "your_image.jpg"
img = Image.open(image_path).convert("RGB")
transform = torchvision.transforms.ToTensor()
img_tensor = transform(img)

# 3. 执行检测
with torch.no_grad():
    predictions = model([img_tensor])

# 4. 解析并可视化结果
# predictions 是一个列表，包含了每个图像的检测结果
# 包括 'boxes', 'labels', 'scores' 等
boxes = predictions[0]['boxes'].cpu().numpy()
labels = predictions[0]['labels'].cpu().numpy()
scores = predictions[0]['scores'].cpu().numpy()

# (可视化代码省略，可以使用 matplotlib 在原图上绘制 bounding box)
print(f"检测到 {len(boxes)} 个对象")
for i, (box, label, score) in enumerate(zip(boxes, labels, scores)):
    if score > 0.5: # 只显示置信度大于0.5的结果
        print(f"对象 {i+1}: 类别 {label}, 置信度 {score:.2f}, 位置 {box}")

TensorFlow 模板 (使用 Object Detection API):

注意: TensorFlow Object Detection API 的安装稍复杂，通常需要从源码编译。

# 这是一个简化的示例，假设你已正确安装并配置了 TFOD API
import tensorflow as tf
from object_detection.utils import label_map_util
from object_detection.utils import visualization_utils as viz_utils
import cv2

# 1. 模型和标签配置
PATH_TO_SAVED_MODEL = 'path/to/your/saved_model' # 例如 'ssd_mobilenet_v2_fpnlite_320x320_coco17_tpu-8/saved_model'
PATH_TO_LABELS = 'path/to/label_map.pbtxt' # 例如 'mscoco_label_map.pbtxt'
category_index = label_map_util.create_category_index_from_labelmap(PATH_TO_LABELS, use_display_name=True)

# 2. 加载模型
detect_fn = tf.saved_model.load(PATH_TO_SAVED_MODEL)

# 3. 加载并预处理图像
image_path = "your_image.jpg"
image_np = cv2.imread(image_path)
image_np_expanded = np.expand_dims(image_np, axis=0)

# 4. 执行检测
detections = detect_fn(image_np_expanded)

# 5. 解析并可视化结果
# 将张量转换为 numpy 数组，并取第一个元素（因为我们只有一张图）
num_detections = int(detections.pop('num_detections'))
detections = {key: value[0, :num_detections].numpy() for key, value in detections.items()}
detections['num_detections'] = num_detections
detections['detection_classes'] = detections['detection_classes'].astype(int)

viz_utils.visualize_boxes_and_labels_on_image_array(
      image_np,
      detections['detection_boxes'],
      detections['detection_classes'],
      detections['detection_scores'],
      category_index,
      use_normalized_coordinates=True,
      max_boxes_to_draw=5,
      min_score_thresh=.5,
      agnostic_mode=False)

cv2.imshow('Object Detection', cv2.resize(image_np, (800, 600)))
cv2.waitKey(0)
cv2.destroyAllWindows()

任务 3：图像分割 (Image Segmentation)

目标: 对图像中的每个像素进行分类，实现像素级别的对象识别（例如，将图中的道路、天空、车辆分别用不同颜色标记）。

PyTorch 模板 (使用 torchvision):

import torch
import torchvision
from PIL import Image
import matplotlib.pyplot as plt

# 1. 加载预训练的 DeepLabV3 模型
model = torchvision.models.segmentation.deeplabv3_resnet101(pretrained=True)
model.eval()

# 2. 加载并预处理图像
image_path = "your_image.jpg"
img = Image.open(image_path).convert("RGB")
transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor(),
    torchvision.transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
img_tensor = transform(img).unsqueeze(0)

# 3. 执行分割
with torch.no_grad():
    output = model(img_tensor)['out'] # 'out' 是主要的分割结果

# 4. 解析结果
# output 的形状是 (batch_size, num_classes, height, width)
# 我们取第一个 batch，然后对每个像素找到概率最高的类别
predicted_mask = torch.argmax(output.squeeze(), dim=0).cpu().numpy()

# (可视化代码省略，可以使用 matplotlib 将 mask 与原图叠加显示)
print(f"分割结果 mask 形状: {predicted_mask.shape}")
print(f"检测到的类别数: {len(np.unique(predicted_mask))}")

希望这份详细的决策表和代码模板能帮助你在实际项目中快速做出选择并上手实践。如果你对某个特定框架或任务有更深入的问题，随时可以提出来！