logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop学习之mapreduce:Shuffle 过程笔记

不少关于Hadoop的书籍都提到过, Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的(《Hadoop云计算实战》)。查看过很多书籍,介绍的或多或少有一些差异,我想这是作者外文翻译的原因,例如 Spill 有的翻译成 “溢写”有的翻译为“分割”(本人认为“溢写”比较好)。对于shuffle的逻辑,看的多了反而越混。所以

#mapreduce#hadoop#云计算
Detectron2安装测试 (踩坑篇)

最近也学习了下detectron2检测框架,总的来讲该框架由Facebook开源,质量还是非常不错的,值得学习。今天就对我第一次安装和测试遇到的一些问题进行整理和总结。

Pytorch 模型加载保存预测整理

最近在学习pytorch,把踩过的坑,整理一下。##### 1、预训练模型的加载问题在模型加载过程中,常用的有两种方式:###### (1)直接保存加载训好的模型```pythontorch.save(model, 'src/model.pth')# 直接保存模型model = torch.load('src/model.pth')# 直接加载模型```###### (2)只加载模型参数,进行训练

到底了