介绍了有限马尔可夫决策过程（Finite MDP）的基本框架，阐述了智能体与环境在离散时间步下的交互机制，定义了状态、动作、奖励和转移概率等核心概念，并通过实例说明MDP如何建模序贯决策问题。重点强调奖励假说、回报的定义（包括回合制与折扣回报），以及马尔可夫性在状态设计中的关键作用，为强化学习问题提供了形式化的数学基础。

本文整理了其中使用的SPL语句，并添加了一些注释和解析

本笔记系统讲解多臂老虎机问题，作为强化学习中评价性反馈的典型场景。内容涵盖动作价值估计、ε-贪婪策略、探索与利用的权衡，并通过10臂测试平台实验比较不同ε值的性能，验证探索对长期收益的关键作用。针对非平稳环境，引入常数步长更新法，赋予近期奖励更高权重，以适应价值变化。通过理论推导、算法实现和对比实验，说明采样平均法在动态环境中表现不佳，而指数加权平均更有效。练习题进一步深化对策略行为和权重结构的理

本章介绍了 WebSocket 在 FastAPI 中的使用，包括基础连接、聊天室实现、连接管理、前端交互、性能测试及 OAuth2 安全认证。通过 `ConnectionManager` 管理多用户连接并广播消息，结合 Jinja2 模板渲染聊天页面，利用 WebSocket 实现低延迟双向通信。还展示了如何在 WebSocket 握手时验证 Bearer Token，并提供了 PowerShe

第一章系统地阐述了Python数据模型的核心概念，通过`FrenchDeck`和`Vector`等实例，展示了如何利用特殊方法（如`__len__`、`__getitem__`、`__repr__`）让自定义对象无缝集成到Python语言中，表现出与内置类型一致的行为。它强调了“鸭子类型”和协议的重要性：只要实现特定的特殊方法，对象就能被当作序列、可迭代对象等来使用，无需复杂的继承。

Python 的序列类型可分为容器序列（如 list、tuple，可包含任意对象引用）和扁平序列（如 str、bytes、array.array，直接存储原始值），后者内存更紧凑、类似 C 数组；结合列表推导式、生成器表达式、解包、模式匹配、切片等特性，Python 提供了高效且优雅的序列处理方式，而在处理大量同类型数据时，使用 array、memoryview 或 NumPy 等工具能显著提升性

本文系统阐述了 Python 3 中 Unicode 文本与字节序列的核心概念与实践原则。强调了 Unicode 码位与编码（如 UTF-8、UTF-16）的区别，明确了 str 与 bytes 的转换机制及常见错误（如 UnicodeEncodeError 和 SyntaxError）。通过“三明治原则”指导开发者在输入端尽早解码、中间层纯文本处理、输出端延迟编码，以避免乱码。同时介绍了文本规范

Python 提供三种数据类构建器：`collections.namedtuple`、`typing.NamedTuple` 和 `@dataclass`。前两者创建不可变的 tuple 子类，支持字段命名和类型注解；`@dataclass` 创建可变（或冻结）的普通类，功能更灵活，支持默认值、字段选项及初始化后处理。三者均通过元编程自动注入常用方法，提升代码简洁性与可读性，适用于构建轻量级数据容

本章系统讲解了Python中字典与集合的核心机制与高级用法。二者均基于哈希表实现，要求键或元素必须可哈希，从而保障O(1)平均查找性能。内容涵盖现代字典操作（推导式、解包、合并、模式匹配）、映射API标准化（ABC、UserDict优势）、缺失键处理（defaultdict、__missing__）、特殊映射类型（OrderedDict、ChainMap、Counter）及不可变视图（Mappin

本文阐述了Python中对象引用的本质，强调变量是对象的“标签”而非“盒子”，深入讲解了身份（`is`）与相等性（`==`）的区别、浅复制与深复制的差异，并警示了可变对象作为默认参数和直接绑定外部可变参数带来的副作用。同时说明`del`仅删除引用，对象回收由垃圾回收机制自动处理。