
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本次实践基于 openEuler 集群环境,配置主节点 Euler01 作为 NTP 时间服务器,通过 Chrony 服务向上游阿里云和公共 NTP 源同步时间,并为 Euler02、Euler03 从节点提供时间服务。从节点配置指向主节点进行时间校准,实现内网时间统一。通过 `chronyc sources` 验证,各节点同步状态正常,偏差在微秒级,精度高,通信稳定。该方案有效保障了集群系统时间

本次实验完成了CentOS 7.9环境下OpenStack Train版本的基础环境搭建。通过配置阿里云与kernel.org归档YUM源,解决了系统EOL后软件包无法获取的问题。成功安装`centos-release-openstack-train`并启用OpenStack仓库,随后升级系统软件包,确保环境安全稳定。最终安装了`python-openstackclient`命令行工具,验证其版本

本次在openEuler集群上成功部署了OpenStack Wallaby版本基础框架。通过在主控节点Euler01及计算节点Euler02、Euler03上统一配置`openstack-release-wallaby`仓库,清理缓存并升级系统,确保了环境一致性。安装`python-openstackclient`后,验证了客户端命令可用,版本为5.5.1,确认Wallaby版本部署成功。整个过程

在深度学习中,模型的学习过程是一个不断迭代优化的过程。本文将以一张经典的神经网络训练流程图为基础,深入浅出地阐述其核心机制——前向传播、损失计算与反向传播。通过理解这一循环,我们可以更好地掌握神经网络是如何“学会”从数据中提取特征并做出准确预测的。

本实战在VMware中搭建Spark分布式集群,完成环境配置、节点分发与服务启动。通过Spark Shell实现词频统计,使用spark-submit提交Pi计算任务,验证client与cluster模式差异,并借助WebUI监控作业运行,全面掌握Spark集群的部署、应用提交与管理流程。

本实战通过配置 Hive 与 Spark 集成,分别基于 YARN(MapReduce)和 Spark 引擎执行词频统计任务,验证了 Hive on Spark 在查询性能上的显著优势,同时展示了 Hadoop、Hive 和 Spark 的协同部署与关键配置步骤。

本实战基于 Spark 3.3.2 与 Python 3.7.7,通过统一集群 Python 环境并上传文本至 HDFS,分别使用 RDD 和 Spark SQL 两种方式实现词频统计。前者通过函数式算子链完成分词、计数与排序,后者借助 DataFrame 与 SQL 语句实现声明式分析,全面展示了 PySpark 批处理的核心编程范式与实践流程。

本次实战围绕 PySpark 的本地与远程开发环境搭建及词频统计应用展开。通过在虚拟机中配置 IPython 并结合 findspark 与 pyspark 库,分别使用 RDD 和 Spark SQL 实现了对本地及 HDFS 文件的词频统计;同时,在宿主机 PyCharm 中远程连接虚拟机,完成相同功能的脚本开发与运行,验证了 PySpark 在不同开发模式下的灵活性与一致性。

本次实战围绕云主机搭建与大数据集群服务展开。历经登录实训云、创建网络、路由器、虚拟网卡等基础配置,设置安全组规则并创建云主机,绑定浮动IP实现FinalShell远程连接。通过修改本地IP与主机名映射文件,实现按IP及主机名Ping云主机。

本次实战掌握 lambda 表达式与 map 函数的使用,实现列表元素的批量处理,并对比其与列表推导式的优劣。列表推导式更简洁直观,适合多数场景;map + lambda 适用于函数式编程组合。合理选择可提升代码效率与可读性。








