---

背景与痛点

在日常开发中，大文件上传是一个常见的需求，比如用户上传高清视频、大型数据集或者安装包。传统的文件上传方式通常有以下痛点：

• 网络中断：大文件上传时间长，网络波动可能导致上传失败，用户需要重新上传整个文件。
• 内存占用高：服务器一次性接收整个文件会占用大量内存，影响系统稳定性。
• 效率低下：失败后重传浪费带宽和时间，用户体验差。

技术选型对比

以下是几种常见框架在流式传输上的对比：

• Flask：轻量灵活，通过request.stream直接处理流式数据，适合快速实现定制化需求。
• Django：功能全面但较重，流式处理需要依赖第三方库或手动实现。
• FastAPI：异步支持优秀，但流式上传的文档和社区案例较少。

对于需要快速落地且对灵活性要求高的场景，Flask是一个不错的选择。

核心实现细节

分块上传的原理与实现

分块上传的核心思想是将大文件拆分为多个小块（如每块1MB），逐个上传到服务器。服务器接收后按顺序合并。这样做的好处是：

• 减少单次请求的数据量，降低网络中断的影响。
• 服务器可以按需处理数据，避免内存爆炸。

断点续传的机制

断点续传需要解决两个问题：

1. 记录已上传的块：服务器需要记录哪些块已成功上传，通常用数据库或临时文件存储进度。
2. 校验文件完整性：全部块上传完成后，通过哈希校验（如MD5）确保文件完整。

使用Flask的request.stream

Flask的request.stream允许逐块读取请求体，非常适合流式处理。以下是一个简单的示例：

from flask import Flask, request

app = Flask(__name__)

@app.route('/upload', methods=['POST'])
def upload():
    chunk = request.stream.read(1024 * 1024)  # 每次读取1MB
    while chunk:
        # 处理当前块
        process_chunk(chunk)
        chunk = request.stream.read(1024 * 1024)
    return 'Upload complete!'

代码示例

以下是一个完整的Flask后端实现，支持分块上传和断点续传：

from flask import Flask, request, jsonify
import os
import hashlib

app = Flask(__name__)
UPLOAD_FOLDER = 'uploads'
os.makedirs(UPLOAD_FOLDER, exist_ok=True)

@app.route('/upload', methods=['POST'])
def upload():
    file_id = request.headers.get('X-File-Id')
    chunk_index = int(request.headers.get('X-Chunk-Index'))
    total_chunks = int(request.headers.get('X-Total-Chunks'))

    # 临时保存分块
    chunk_path = os.path.join(UPLOAD_FOLDER, f'{file_id}_{chunk_index}.part')
    with open(chunk_path, 'wb') as f:
        f.write(request.stream.read())

    # 检查是否全部上传完成
    uploaded_chunks = [f for f in os.listdir(UPLOAD_FOLDER) if f.startswith(file_id)]
    if len(uploaded_chunks) == total_chunks:
        # 合并文件
        final_path = os.path.join(UPLOAD_FOLDER, file_id)
        with open(final_path, 'wb') as f:
            for i in range(total_chunks):
                part_path = os.path.join(UPLOAD_FOLDER, f'{file_id}_{i}.part')
                with open(part_path, 'rb') as part:
                    f.write(part.read())
                os.remove(part_path)
        return jsonify({'status': 'complete'})

    return jsonify({'status': 'chunk_uploaded'})

性能与安全考量

优化上传速度

• 并行上传：前端可以同时上传多个块，但要注意服务器并发处理能力。
• 压缩分块：对大文件分块时进行压缩，减少传输数据量。

减少内存占用

• 流式处理：始终使用request.stream，避免一次性加载文件到内存。
• 清理临时文件：上传完成后及时删除分块文件。

安全措施

• 限制文件类型：检查文件扩展名和MIME类型，防止上传恶意文件。
• 权限控制：确保用户只能访问自己上传的文件。
• 速率限制：防止恶意用户通过大量上传占用服务器资源。

避坑指南

1. 文件块校验：每个分块上传后计算哈希，确保数据在传输过程中没有损坏。
2. 并发上传处理：如果前端并行上传，服务器需要处理好文件块的写入顺序。
3. 超时设置：对于慢速网络，适当调整Flask的请求超时时间。

互动与思考

你可以进一步扩展这个方案，比如：

• 多线程上传：利用多线程加速分块上传。
• 集成云存储：将文件直接上传到S3或OSS，减轻服务器负担。
• 进度展示：实时反馈上传进度，提升用户体验。

希望这篇笔记能帮助你实现高效可靠的文件上传功能。如果有任何问题或建议，欢迎留言讨论！