登录社区云,与社区用户共同成长
邀请您加入社区
机器学习建模与评估全过程以及反思总结
比如在第15代粒子群迭代时,突然有个粒子尝试用48个LSTM单元配0.005的学习率,这个组合在传统网格搜索里根本不会被考虑,结果验证集误差反而比常规参数低12%。比如LSTM单元数用2的指数级增长,这样粒子每移动一步相当于参数翻倍,比线性缩放更符合神经网络参数的特性。咱们要优化的参数主要是LSTM隐藏层单元数(16-256)和初始学习率(0.0001-0.01)。PSO优化CNN-LSTM做预测
函数输入要求输出维度支持广播使用场景灵活灵活✅通用矩阵乘法torch.mm两个2D张量2D❌严格矩阵乘法torch.mv2D矩阵 × 1D向量1D❌矩阵向量乘法。
第六章代码交互式代码转换普通脚本
在本教程中,我们将逐步介绍如何在上搭建 Jupyter Lab 或 Jupyter Notebook 实例。此外,我们还会分享一些关键技巧,帮助你在 Jupyter Notebook 中顺利运行深度学习代码。
云原生的核心,不是容器、不是Kubernetes,也不是某个框架。它真正代表的是一种工程哲学系统要能够随变化而生长,技术要能够随需求而进化。在云原生的世界里,部署是一种对话,扩容是一种承诺,恢复是一种常态。软件不再是静态的产物,而是一个动态的生命体。未来的软件开发,将不再是“写程序”,而是设计生命系统——它能自愈、自调度、自演化。而这一切,正是云原生带给人类工程世界最深刻的启示:技术的目标,不是控
PyTorch深度学习实战第八章代码交互式编程转普通py脚本
离线升级conda版本的一次记录
2025年12月3日,“2025年度浦东好‘市’&浦东好‘礼’发布暨颁奖活动”在浦东新区投资促进服务中心举行。深兰科技自主研发的《深兰科技心理健康大模型儿童玩偶智能体》成功入选“2025浦东十佳好礼”,成为本年度最具代表性的浦东创新文旅伴手礼之一。
自己主要是先做利用python和jupyter学习数据分析和机器学习,而搭建一个jupyter云服务器是一个不错的选择,本文主要是搭建一个jupyter_notebook云运行环境。不知道为什么,这样子安装后的jupyter notebook运行的时候会出现websocket连接失败的问题,需要再执行。系统默认会安装在 /home/condaUser/anaconda3目录下,可以在安装过程中输入
作为一名刚系统完成《大数据分析与应用》课程学习的学生,我深刻感受到这门课程带来的知识增量与思维提升。接下来,我想结合自己从入门到实操的完整学习经历,详细分享这门课的核心学习收获,同时系统梳理课程中的基础核心内容,帮助刚接触这门课的同学快速搭建知识框架、明确学习重点。对我而言,这门课不仅是理论知识的积累,更是实操能力的锤炼,它彻底打破了我对“数据”的传统认知,让我真切理解到大数据在驱动行业发展、优化
摘要:大数据分析与应用实践指南 本文系统介绍了大数据分析与应用的核心认知与技术实践。作者首先阐述了数据作为生产要素的重要性,指出大数据分析是数字化时代的关键能力。通过剖析三大常见认知误区(规模至上、技术优先、可视化即分析),强调了业务价值导向的分析思维。文章详细展示了从数据采集到落地执行的完整分析流程,并提供了Python生态工具(Pandas、NumPy)的实战案例,包括电商用户行为数据预处理和
本文分享了大数据分析与应用的学习实践心得。文章首先指出大数据分析的核心价值在于业务应用,而非单纯的数据规模或技术复杂度。随后详细介绍了大数据分析的全流程,包括数据采集、预处理、存储、建模分析、可视化及落地执行。在技术层面,作者总结了Python生态、Hadoop/Spark分布式框架及可视化工具的使用技巧,并通过电商用户复购预测项目展示了从需求对接、特征工程到模型优化、精准营销的完整案例。最后强调
“The best way to predict the future is to create it.” (预测未来的最好方法就是创造它。) 愿我们都能在大数据的浪潮中,创造属于自己的精彩未来。
本文详细记录了大数据技术专业期末项目实践全过程。项目选取影视、医疗、教育、体育四大领域的真实数据集,运用关联规则、分类、回归、聚类4类算法进行深度分析。重点展示了从数据预处理到模型优化的完整流程,包括电影题材关联挖掘、心脏病风险预测模型构建、研究生录取因素量化分析以及NBA球员聚类分析。实践表明:算法选择必须贴合业务目标,数据预处理决定分析上限,结果解读需结合业务场景。文章为数据分析项目提供了可参
猫狗识别是深度学习入门最经典的实战项目之一。通过构建卷积神经网络(CNN),我们可以让计算机学会像人类一样区分猫和狗的图像。本项目将使用TensorFlow/Keras框架,在Jupyter Notebook环境中完成从数据准备到模型部署的全流程通过本实战项目,我们完成了以下核心工作:1.环境配置:搭建了Jupyter Notebook开发环境,安装了必要的深度学习库2.数据准备:组织并预处理了猫
使用快速部署JupyterLab,包括拉取基础镜像,制作内置新插件的新镜像。
本文介绍了使用KNN算法实现鸢尾花识别的完整流程。首先搭建开发环境,包括WSL2、Ubuntu、Anaconda和Jupyter Notebook。然后详细讲解了从数据获取、预处理、特征工程到模型训练、评估和预测的机器学习建模步骤。通过scikit-learn库加载鸢尾花数据集,进行数据标准化处理,使用KNN分类器训练模型,最终实现了96.67%的准确率。文章还演示了如何使用自定义数据进行预测,并
4:sudo iptables -L -n --line-numbers检查 iptables 规则(底层防火墙)2:jupyter notebook password,后续访问输入密码,不用token。conda install jupyter notebook 安装jupyter。1:确认 Jupyter 是否已安装 which jupyter。:指定端口,你也可以换成其他未被占用的端口(如
使用 pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel支持 GPU 加速挂载本地项目目录浏览器访问 Jupyter。
本次问题的核心不是 Jupyter 本身,而是Docker 容器网络与宿主机端口之间缺少映射关系。Jupyter 配置外部监听确保容器内部服务可以被访问。socat 实现 Docker 与宿主机端口桥接实现宿主机端口转发。Ubuntu 防火墙开放访问端口外部浏览器宿主机:9999socat已经运行的 Docker 容器不方便重新创建容器需要快速暴露开发服务(Jupyter、TensorBoard、
Pandas数据处理的核心操作:1)DataFrame的算术/逻辑/统计运算与自定义函数应用;2)数据可视化方法;3)文件读写(CSV/HDF5/JSON);4)缺失值检测与处理方法;5)数据离散化与one-hot编码;6)数据合并的concat/merge;7)交叉表与透视表分析;8)分组聚合操作。涵盖了从基础运算到高级分析的完整数据处理流程,适用于金融、零售等多领域数据分析场景。
相当于用较小的领域中的训练实例进行预测,“学习”近似误差会减小,只有与输入实例较近或相似的训练实例才会对预测结果起作用,与此同时带来的问题是“学习”的估计误差会增大,即。完全不足取,因为此时无论输入实例是什么,都只是简单的预测它属于在训练实例中最多的类,模型过于简单,忽略了训练实例中大量有用信息。根据KNN每次需要预测一个点时,我们都需要计算训练数据集里每个点到这个点的距离,然后选出距离最近的K个
本文面向不同编程背景的读者,通过游戏角色等生动例子讲解面向对象编程(OOP)的核心概念。文章首先对比过程式编程与OOP的区别,以计算圆面积为例展示OOP将数据和操作封装在对象中的优势。然后详细介绍了类和对象的关系,通过学生类、狗类等具体代码示例,重点讲解了__init__方法、self参数的含义以及属性和方法的定义与使用。文中强调对象是类的具体实例,每个对象拥有独立的属性,并通过修改属性值展示了对
通过 Win + R 输入 cmd 打开命令行,此时可以直接通过 conda activate base 进入基础环境1.2 安装 PyTorch 与常用科学计算库去PyTorch官网复制对应CUDA版本的下载命令(注意:一般选择略低于主机CUDA配置的型号,下载时建议开启代理保证网络畅通):验证是否成功(输出 True 即为成功):示例:顺手装上必备的数据处理和图像处理库:2. 终极奥义:环境的
在VSCode 中让 Jupyter 使用 Conda 环境
运行环境:需 Python ≥ 3.7.1,执行启动本地服务,在浏览器中逐段编写运行代码,非常适合新手调试。依赖安装:Claude 平台安装anthropic官方包,DeepSeek 平台安装openai包,Notebook 内统一使用%pip魔法命令安装。密钥管理:禁止将密钥硬编码在代码中,统一存入笔记本同级目录的.env文件,通过读取,从根源避免密钥泄露。调用流程:初始化客户端 → 传入模型名
总结Cursor+GitOps模式的核心价值,并给出入门建议。将AI的创造性、自动化能力与GitOps的规范性、可靠性相结合,是实现“智能运维”的关键一步。从一个小型、非核心的项目开始尝试,逐步积累使用模式和最佳实践。让开发者更专注于业务逻辑和创新,而将繁琐、重复的运维工作交给“AI+自动化”流水线。