登录社区云,与社区用户共同成长
邀请您加入社区
机器学习本质上是基于数学模型的预测与决策系统。其核心原理是通过构建数学模型来拟合数据分布,并利用优化算法调整参数以最小化预测误差。从技术价值看,扎实的数学基础能帮助从业者超越“调包”层面,深入理解算法本质、诊断模型问题并推动创新。在实际应用场景中,线性代数提供了数据表示与变换的框架,微积分支撑了梯度下降等优化过程,概率论则为不确定性建模与统计推断奠定了基础。本文聚焦于机器学习中最关键的数学工具,通
这部分是预训练,目的是让 AI 简单学会基础语法,能够续写语料。1.0 开始的开始这个项目的起源在于斯坦福的 AI 神课 CS336。个人认为这门课的作业部分教育指导意义远大于讲课视频,Transformer、优化器等等等等都是要亲手实现才能理解,看视频、看blog、单纯调用 torch.nn.functional 库中的函数与类永远无法弥补此点。
本项目旨在从零搭建一个基于 GPT-2 Medium 衍生架构的多模态大模型,使其至少支持文本、图像两种模态输入,同时尽可能减少对Pytorch封装库的直接调用,在此中熟练掌握基础的知识、模型的预训练微调等等处理技术和对多模态技术的了解。
机器学习数学基础摘要 机器学习的数学基础主要包含三大支柱:线性代数、微积分和概率论。线性代数用于模型表征和数据空间定义,微积分支撑参数优化和损失函数最小化,概率论则提供了不确定性量化和预测评估的理论框架。掌握这些数学工具不仅能帮助理解算法原理,还能指导模型诊断、架构创新和性能调优。本文系统阐述了向量空间、范数、矩阵变换、梯度下降、反向传播以及概率空间等核心概念,通过数学表述与实例分析,揭示了机器学
本文深入探讨了向量运算在机器学习中的核心应用,从基础概念到实战技巧全面解析。通过电影推荐系统、词向量类比等具体案例,详解向量加减法、点积、线性组合等运算如何驱动模型训练,并分享特征选择、正则化处理等避坑指南,帮助开发者高效运用线性代数提升AI模型性能。
本文深入探讨了向量运算在机器学习中的核心应用。向量作为数据的结构化表示,是特征工程、相似性度量、降维技术及模型内部计算的基础。文章通过实战案例,详细解析了向量点积、距离计算、PCA降维等在特征缩放、推荐系统、图像分类等场景中的关键作用,揭示了线性代数是理解与构建高效机器学习模型的必备工具。
本文通过Python和NumPy图解机器学习中的线性代数,帮助读者直观理解向量、矩阵、特征值等抽象概念。文章包含丰富的代码示例和可视化演示,涵盖向量运算、矩阵变换、特征分解等核心内容,并展示线性代数在机器学习中的实际应用,如线性回归和图像压缩。
安全锥作为临时交通管控和施工区域的核心警示设施,其自动化识别对于智能交通、自动驾驶及施工安全管理具有重要意义。本研究基于YOLO26目标检测算法,构建了一个针对安全锥的单类别检测系统,数据集包含训练集5960张、验证集341张、测试集170张,共计6471张图像。训练过程中,模型在训练集上表现出损失函数的稳定下降,但在验证集上的关键评估指标表现不佳。本研究所使用的安全锥检测数据集共包含6471数据
协方差矩阵是机器学习中重要的数学工具,能够描述多维数据特征间的线性关系。本文系统梳理了其在AI领域的核心应用:作为主成分分析(PCA)的基石实现特征降维;在数据预处理中用于特征选择和数据白化;在异常检测中结合多元高斯分布;以及在深度学习中的创新应用,如协方差池化和模型正则化。文章还提供了Python实战代码,展示如何计算协方差矩阵并实现PCA降维。随着AI发展,协方差矩阵正从外部工具内化为模型的一
协同过滤:基于相似性,适合小规模数据,但冷启动问题明显。矩阵分解:通过 ALS 等算法高效处理稀疏数据,PySpark 实现可扩展至大数据。实际应用:在电商或流媒体中,结合两者(如混合推荐)可提升精度。PySpark 代码可直接运行,建议使用分布式集群处理真实数据。通过此实现,您可快速构建推荐系统。如有具体数据或问题,欢迎提供细节进一步优化!
摘要:本文介绍了机器学习和深度学习中常见的向量求导方法。首先给出向量导数的定义,说明其与梯度的等价性。然后推导了两个重要公式:(1)线性函数μᵀx对向量x的导数为μ;(2)二次型xᵀAx的导数为2Ax(A为实对称矩阵)。推导过程中详细展示了分量计算步骤,并强调了矩阵对称性的作用。这些结果为后续机器学习模型的优化提供了数学基础。
solve(a,b)a是未知数的系数,b是等号右边的常数构成的向量。输出为两个,第一个是特征值,第二个每一列是特征值对应特征向量。scipy线性代数矩阵相关运算在他的linalg类中。主要使用norm函数,传入不同的ord。2范数:所有元素平方和 再开根号。无穷范数:所有元素的绝对值最大值。(6)求解线性方程组 solve。(5)求特征值和特征向量eig。(1)求方阵的行列式值det。1范数:所有
你好,我是程序员贵哥。欢迎你跟我一起重学线性代数!在开篇词中,我和你大致讲过我自己的经历,从2006年开始到现在14年的时间里,我都专注于机器学习领域。对于在机器学习中的应用,我非常了解。而这也是线性代数最主要的应用场景之一。因此,今天第一节课,我想先和你聊一聊,如何在机器学习中运用线性代数工具,在我们开始自下而上的学习之前,先从上层来看一看。我们都知道,“数据”是机器学习的前提,机器学习的第一步
通过分析其在表示学习、优化理论与泛化分析等领域的具体作用,揭示该数学工具在构建解释性更强、更稳定、更高效的机器学习模型中的独特价值。然而,随着机器学习尤其是深度学习的发展,我们发现复杂的神经网络实质上是在高维函数空间中进行一系列非线性变换,其数学本质与算子代数研究对象之间存在深刻联系。算子代数主要研究希尔伯特空间上有界线性算子构成的代数结构,起源于二十世纪初对量子力学数学基础的探索,其核心包括C*
我们或多或少都听说LLM大模型是先“训练”出来,然后再用于“推理”,那怎么理解这个“训练”过程?是不是经常听说行业性场景中要使用垂域大模型,比通用大模型效果会更好,然后都说垂域大模型是“微调”出来的,那么什么是“微调”?和上面说的“训练”是什么关系?
这个按不同的维度sum和mean还有小坑,之所以称之为是降维操作, 原来是2维, 降低为了1维, 所以想要实现按行归一化和按列归一化, 要多一步操作。是一个表格型的数据结构,你可以把它想象成 Excel 表格。每一列(Series)都有自己的数据类型。:可以求加权, 也可以用作单位向量之间的夹角的余弦。torch.dot()是一定只能使用在。这也是必须使用在矩阵和向量之间, 并且。是完全一样的运算
本文介绍了线性代数在机器学习中的核心应用。主要内容包括:1)向量与矩阵的基本概念,展示如何用矩阵表示样本数据;2)向量运算的几何意义,包括内积计算相似度和范数用于正则化;3)矩阵运算在模型计算中的应用,如神经网络全连接层;4)特征值分解和SVD的原理及其在PCA降维、推荐系统等场景的应用;5)线性代数与机器学习模型的结合,包括线性回归、SVM和神经网络的计算过程。文章通过具体公式和案例,阐述了线性
若一个假设 h 满足:对训练集中的每一个样本(x,y),都有 h (x)=y(即能正确判断该样本是否为好瓜),则称 h 与训练集一致。
本文介绍了三种机器学习关键技术:数据增强、迁移学习和混淆矩阵。数据增强通过变换原始数据生成新样本,列举了图像、文本等不同数据的增强方法。迁移学习利用预训练模型进行微调,包含冻结参数和全参数训练两种方式。混淆矩阵用于评估分类模型性能,详细解释了TP、FP等核心概念及准确率、召回率等关键指标,特别强调了其在数据不平衡问题中的应用价值。文中还配有相关示意图辅助理解这些技术概念。
本文提出了一套基于NeoLoad的微服务压测解决方案。方案针对微服务架构下拓扑复杂、链路追踪困难等痛点,采用图形化API流量录制和智能事务链建模技术。实施框架包含场景建模、环境构建、脚本开发、执行监控四个阶段,支持动态参数化和混沌工程注入。关键技术包括全链路事务建模和故障注入配置,通过SLA监控点实现端到端性能检测。结果分析采用黄金指标矩阵和四象限法,有效识别数据库锁等待、线程池配置等关键瓶颈。该
摘要:本文解析云测试环境成本构成,资源闲置损耗占比45%,流量传输成本30%,超额配置浪费25%。提出三大优化策略:Spot实例调度(节省60-90%)、数据层优化(DynamoDB/S3/RDS方案节省30-80%)及成本监控体系搭建。以某电商案例展示优化后成本降低64%,资源利用率提升112%。未来将整合混沌工程、AI预测和碳足迹监控实现持续优化。(150字)
第九届大数据与应用统计国际学术研讨会(ISBDAS2026)将于2026年3月6-8日在广州举办。会议旨在为全球专家学者搭建交流平台,分享大数据与应用统计领域的前沿成果。由广东省高等教育学会主办,北京师范大学等单位协办。投稿论文将由IEEE出版并提交EI、Scopus检索。会议接收英文投稿,提供口头报告、海报展示等多种参会形式。这是继2025年后该会议再次在广州举办。
复习线性代数基础
本文摘要: 本章系统介绍了机器学习所需的线性代数基础知识,重点围绕四个核心主题展开: 基础数据结构:从标量、向量到矩阵和张量,建立多维数学对象的表示体系,强调稀疏矩阵在实践中的重要性。 核心运算机制:详细讲解矩阵乘法、内积和哈达玛积的数学定义与几何意义,阐明转置、逆矩阵和伪逆的计算方法及应用场景。 向量空间理论:深入解析线性组合、基、维度、秩等概念,建立四个基本子空间的理论框架,为后续算法提供数学
本文深入探讨了矩阵求导在机器学习中的两种主流布局选择——分子布局和分母布局,分析了它们在算法实现中的实际影响。通过典型机器学习场景和代码示例,揭示了混合布局的实用约定,并提供了避免常见维度错误的最佳实践建议,帮助工程师和研究者提升算法实现效率。