字符串是 Python 中最常用的数据类型,用来表示和处理文本信息.在Python中，字符串是不可变的序列，用单引号 '、双引号 " 或三引号括起来# 三引号形式的字符串支持换行操作"""# eg: I'm Tina str1 = "I'm Tina" # or str2 = 'I\'m Tina" # 注:'I'm Tina'会报错字符串切片指对操作的对象截取其中一部分的操作。字符串、列表、元组

项目AIMLDL定义模拟人类智能从数据中学习规律使用深度神经网络学习范围最广AI 的子集ML 的子集是否需要数据不一定（规则系统可无数据）必须大量数据特征工程可手动常需手动自动提取典型技术专家系统、搜索算法决策树、SVM应用举例智能助手、机器人推荐系统、信用评分图像生成、大语言模型基于规则学习基于规模学习监督学习是目前工业界最成熟、应用最广的方式。无监督学习用于探索和表示学习。强化学习擅长序贯决策

随着上下文窗口达到百万级 (1M+ Tokens)，传统 O(N2)O(N2) 的注意力机制面临瓶颈，新架构层出不穷。注：2026年主流模型通常使用分组查询注意力 (GQA) 或 滑动窗口注意力 来优化推理速度。: 不再是将图像Patch简单映射为Text Token，而是构建统一的语义空间。扩散模型 (Diffusion Models): 通过逐步去噪生成数据。允许模型在不同的子空间同时关注不同

上下文管理器是一种协议对象，用于在执行一段代码块前后自动执行设置和清理操作。最典型的使用场景是资源管理（如文件、锁、数据库连接等），确保资源被正确释放，即使发生异常也不会泄漏。核心作用：“自动善后” —— 进入时准备，退出时清理。基本语法:等价于(伪代码):上下文管理器协议一个对象要成为上下文管理器，必须实现两个方法: 参数说明：场景:文件编辑场景:抑制特定异常使用装饰器（推荐！）常见内置上下文管

随着上下文窗口达到百万级 (1M+ Tokens)，传统 O(N2)O(N2) 的注意力机制面临瓶颈，新架构层出不穷。注：2026年主流模型通常使用分组查询注意力 (GQA) 或 滑动窗口注意力 来优化推理速度。: 不再是将图像Patch简单映射为Text Token，而是构建统一的语义空间。扩散模型 (Diffusion Models): 通过逐步去噪生成数据。允许模型在不同的子空间同时关注不同

数据处理阶段：放心使用NumPy。它生态成熟，配合 Pandas/Matplotlib 处理 CSV、图像预处理非常方便。模型训练阶段：必须转换为PyTorch。利用其 GPU 加速和自动求导能力。避坑指南：不要试图把 GPU 张量直接转 NumPy。注意的内存共享特性，修改原数组可能会意外改变张量数据。矩阵乘法记得用或，别用。

模型选择：理解类任务选BERT系列，生成类任务选GPT/T5系列；中文任务优先。库的使用：快速验证用Pipeline，通用开发用AutoModel，深度定制用。迁移学习本质：所有预训练模型均基于“预训练+微调”范式，通过少量数据即可适配新任务，大幅降低训练成本。对比维度BERTGPT核心架构注意力方向双向 (可同时看前后文)单向 (只能看前文)训练目标掩码语言模型 (MLM)，类似“完形填空”自回

模型选择：理解类任务选BERT系列，生成类任务选GPT/T5系列；中文任务优先。库的使用：快速验证用Pipeline，通用开发用AutoModel，深度定制用。迁移学习本质：所有预训练模型均基于“预训练+微调”范式，通过少量数据即可适配新任务，大幅降低训练成本。对比维度BERTGPT核心架构注意力方向双向 (可同时看前后文)单向 (只能看前文)训练目标掩码语言模型 (MLM)，类似“完形填空”自回

文本↓分词器(将文本切分为索引，如 [101, 7592, 2088, 102])↓词嵌入查找(将索引转换为向量EtokenE_{token}Etoken​↓位置编码生成(生成位置向量EposE_{pos}Epos​↓相加XEtokenEposXEtoken​Epos​↓输入模型(张量XXX进入第一层编码器或解码器)并行策略核心逻辑优点缺点典型应用场景数据并行 (DP)数据分片，模型复制。

让模型在处理信息时，学会“聚焦”于输入序列中与当前任务最相关的部分，而不是同等地看待所有信息。它模拟了人类视觉的注意力机制——我们看一张图或读一句话时，不会平均分配精力，而是关注重点。在注意力机制出现之前，主流的序列模型（如 RNN、LSTM、GRU）主要依赖编码器-解码器架构来处理序列到序列的任务（如机器翻译）。注意力机制的诞生：它允许解码器在生成每一个输出词时，直接“回头”查看编码器的所有隐藏