logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

用Spark GraphX分析Facebook匿名社交圈:从Kaggle数据集到连通分量实战

本文详细介绍了如何使用Spark GraphX分析Facebook匿名社交圈数据,从数据清洗到社群发现的完整流程。重点讲解了GraphX的连通分量算法在识别潜在社交圈中的应用,并提供了数据预处理、图构建、算法优化及结果验证的实战技巧,帮助开发者高效处理大规模社交网络数据。

数据工程师必看:从Hive/Spark实践角度,深度对比增量、全量与拉链表的存储成本与查询性能

本文从Hive/Spark实践角度,深度对比了增量表、全量表与拉链表在存储成本与查询性能上的差异。通过实测数据和案例分析,揭示了不同表类型在TB级数据仓库中的适用场景与优化技巧,帮助数据工程师做出更明智的存储选型决策。

#数据仓库
实战指南:用scikit-plot解锁机器学习模型的可视化诊断(从评估到调优)

本文详细介绍了如何使用scikit-plot进行机器学习模型的可视化诊断,从评估到调优的全流程。通过ROC曲线、混淆矩阵等关键图表,帮助开发者快速定位模型问题,提升模型性能。文章还提供了环境配置、高级调优技巧和避坑指南,适合机器学习从业者参考。

#机器学习
裸金属环境RKE2 Kubernetes集群MLOps平台构建实践

Kubernetes作为容器编排的事实标准,在机器学习工程化(MLOps)领域展现出强大优势。通过裸金属部署可避免虚拟化开销,配合RKE2发行版的轻量化设计,能实现硬件资源的最大化利用。在数据隐私敏感场景中,这种架构相比云方案可降低30%以上运营成本。关键技术实现涉及GPU资源调度优化、RDMA网络加速以及Ceph分布式存储集成,最终支撑日均120+训练任务和80+在线模型服务的稳定运行。典型应用

不止于安装:在openEuler上配置UKUI桌面后,我顺手搭了个开发环境(Python/Node.js/Docker)

本文详细介绍了在华为openEuler操作系统上配置UKUI桌面并搭建全栈开发环境的完整指南。从基础配置、Python/Node.js环境搭建到Docker容器化部署,提供了一步一步的实用教程,帮助开发者快速在openEuler上建立高效开发环境。

大模型优化:提示词工程与微调策略对比

在自然语言处理领域,提示词工程和模型微调是两种核心的大模型优化方法。提示词工程通过设计特定指令引导模型激活相关神经元路径,本质上是一种高效的信息检索技术,适合快速验证和多任务场景。模型微调则通过梯度下降直接调整参数,更适合需要学习新知识的专业领域。LoRA等参数高效微调技术能在保持模型基础能力的同时实现领域适配。这两种方法在电商客服、金融风控等场景中各有优势,理解其底层原理和适用边界对工程实践至关

NVIDIA Megatron-Core:大模型训练与多模态优化的技术突破

大型语言模型(LLM)训练是当前AI领域的核心技术之一,其核心挑战在于如何高效处理海量参数和异构数据。NVIDIA Megatron-Core通过模块化设计和GPU优化技术,显著提升了训练效率,特别是在多模态和专家混合模型(MoE)场景下表现突出。该框架将底层计算优化、中间层组件封装和上层任务API有机结合,支持灵活替换注意力机制等关键模块。在工程实践中,Megatron-Core的确定性训练和分

深度学习必读经典:三本提升模型实战能力的书籍

深度学习作为机器学习的重要分支,其核心在于通过神经网络模拟人脑处理信息的机制。从反向传播算法到梯度下降优化,这些基础原理构成了现代深度学习的理论基石。在实际工程中,模型调参、特征工程和优化策略等技术对项目成败至关重要。《神经网络与模式识别》系统性地阐述了参数优化与正则化方法,《神经网络锻造》通过代码实例解析了梯度消失等经典问题,而《深度学习》则架起了传统神经网络与现代架构的桥梁。这三本经典著作涵盖

#深度学习#神经网络
深度学习模型压缩实战:剪枝、量化与蒸馏技术解析

模型压缩是解决深度学习在资源受限环境中部署难题的关键技术。其核心原理在于通过减少模型参数量或降低数据表示精度,在保持模型性能的同时显著提升推理效率。从技术价值看,模型压缩能大幅降低计算开销和存储需求,是实现移动端、嵌入式设备和边缘计算场景落地的必备手段。具体到应用场景,它广泛应用于智能手机、物联网设备和自动驾驶等领域,使复杂模型能在有限算力下实时运行。本文聚焦的PocketFlow框架,正是整合了

#深度学习#剪枝
深度学习无人机森林自主导航系统DeFoP解析

自主导航是机器人领域的核心技术,通过传感器融合与环境感知实现智能移动。深度学习技术显著提升了复杂环境下的导航能力,特别是在GNSS信号缺失的场景中。DeFoP系统创新性地结合语义增强深度编码器与神经碰撞预测网络,解决了森林环境中细枝检测和轨迹规划等关键难题。该系统在稠密植被中实现了突破性的飞行成功率,为林业巡检、灾害救援等应用提供了可靠解决方案。通过TensorRT加速和异步流水线设计,系统在Je

#深度学习
    共 405 条
  • 1
  • 2
  • 3
  • 41
  • 请选择