第三个例子：如果你正在做有关天气的机器学习分类问题，那么你可能想要区分哪些天是晴天、多云、雨天、或者下雪天，对上述所有的例子，𝑦 可以取一个很小的数值，一个相对"谨慎"的数值，比如 1 到 3、1 到 4 或者其它数值，以上说的都是多类分类问题，顺便一提的是，对于下标是 0 1 2 3，还是 1 2 3 4 都不重要，我更喜欢将分类从 1 开始标而不是0，其实怎样标注都不会影响最后的结果。可以这

我们定义了单训练样本的代价函数，凸性分析的内容是超出范围的，但是可以证明我们所选的代价值函数会给我们一个凸优化问题。带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）。具体来说，要定义用来拟合参数的优化目标或者叫代价函数，这便是监督学习问题中的逻辑回归模型的拟合问题。与线性回归中不同，所以实际上是不一样的。注：虽然得到的梯度下降算法表面上看上

因此，梯度下降法是一个非常有用的算法，可以用在有大量特征变量的线性回归问题。所以，根据具体的问题，以及你的特征变量的数量，这两种算法都是值得学习的。随着我们的学习算法越来越复杂，例如，分类算法，像逻辑回归算法， 我们会看到，实际上对于那些算法，并不能使用标准方程法。注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的

本文系统分析了智能体的分类体系，重点探讨了三种分类维度：基于内部决策架构（从反应式到规划式智能体）、基于时间与反应性（权衡速度与最优解）以及基于知识表示（符号主义与亚符号主义AI）。文章还介绍了混合式智能体和神经符号主义AI的创新融合模式。通过PEAS模型（性能、环境、执行器、传感器）对智能旅行助手进行案例解析，揭示了现代LLM智能体面临的部分可观察、随机性、多智能体和动态序贯等复杂环境特性。这些

之前介绍过了，把训练数据分为很多个batch，然后每个batch算梯度并更新，所有batch全部计算过一次为一个，在一个echo完成后下一个echo前，需要先进行（洗牌，打乱次序），即再次将训练数据重新分配，与之前的分配方式区别开。

如果我们要用线性回归算法来解决一个分类问题，对于分类， y取值为 0或者 1，但如果你使用的是线性回归，那么假设函数的输出值可能远大于 1，或者远小于 0，即使所有训练样本的标签 y都等于0 或 1。尽管我们知道标签应该取值 0 或者 1，但是如果算法得到的值远大于 1 或者远小于 0 的话，就会感觉很奇怪。在分类问题中，你要预测的变量 𝑦 是离散的值，我们将学习一种叫做逻辑回归 (Logist

注：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。通常我们需要先观察数据然后再决定准备尝试怎样的模型。，从而将模型转化为线性回归模型。

在之前的机器学习中，我们学到模型的优化方式，如果在一点Loss函数降不下去了，那么说明我们在这个点（critical point）的梯度趋近于零。这个有两种情况，一种就是我们真正找到了（局部最小值），还有一种情况就是我们找到了一个（鞍点）如图所示，（想象你坐在这个马鞍上）这种情况我们按原来的优化方式可能就是我们的点在前后移动，但这时得到的Loss都比我们的saddle point要小，所以我们需要

现在我们的优化方式是通过动量（考虑前面所有梯度的矢量和）来决定方向，Root Mean Square来表示大小，然后再配上学习速率衰减。

之前介绍过了，把训练数据分为很多个batch，然后每个batch算梯度并更新，所有batch全部计算过一次为一个，在一个echo完成后下一个echo前，需要先进行（洗牌，打乱次序），即再次将训练数据重新分配，与之前的分配方式区别开。