logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

实现高性能纠删码引擎 | 纠删码技术详解(下)

作者介绍:徐祥曦,七牛云工程师,独立开发了多套高性能纠删码/再生码编码引擎。柳青,华中科技大学博士,研究方向为基于纠删码的分布式存储系统。前言:在上篇《如何选择纠删码编码引擎》中,我们简单了解了 Reed-Solomon Codes(RS 码)的编/解码过程,以及编码引擎的评判标准。但并没有就具体实现进行展开,本篇作为《纠删码技术详解》的下篇,我们将主要探讨工程实现的问题。这里先简单提炼一下实现高

7种常见的迁移学习

最近调研了不少迁移学习的工作,本文选取7种常见的迁移学习分享给大家。因为我感觉迁移学习在NLP领域的很多任务中有很大的利用价值,毕竟高质量的标注数据是很少的,而人工标注费时费力,而且质量不一定好。1. Domain Adaptation 领域自适应1.1 动机领域自适应是一种迁移学习,它将不同源领域的数据或特征映射到同一个特征空间,以便于利用其源领域数据或特征来增强目标领域的训练,进而...

想从事分布式系统,计算,hadoop等方面,需要哪些基础,推荐哪些书籍?--转自知乎

分布式系统(Distributed System)资料《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解.《Distributed

python连接oracle数据库报错"DatabaseError: DPI-1047: 64-bit Oracle Client library cannot be loaded: "解决方案

操作系统,python3.5, oracle_11, 均为64位;plsql 正常连接。也顺利安装了cx_oracle 6.3,但是python进行连接的时候就会报错"DatabaseError: DPI-1047: 64-bit Oracle Client library cannot be loaded: " 。原因:        instantclient版本为32位,

条带大小计算方法

3.2.7.3 条带大小计算方法stripe width(条带宽度):RAID中的磁盘数,就是组成这个stripe的磁盘数。例如,4个磁盘组成的RAID 0,条带宽度就是4。stripe depth(条带深度):单块磁盘上条带的大小,有时也称为stripe unit。stripe size(条带大小):stripe depth×stripe width。有时也称block size块大小、chun

一口气实现交通大数据爬取与Python可视化(含数据分享)

今天的文章呢主要目的不是爬虫,而是爬虫的同时顺便实现实时可视化。上次爬摩拜单车数据的文章使用的是传统的ArcGIS进行自定义可视化,硬核 | Python多线程爬取摩拜单车数据与ArcGIS可视化,今天我想给大家分享的是QGIS可视化(MapBox在线底图)和Python可视化。交通大数据爬取本数据是由人送外号数据帝的CSDN排名1万+的博主小猿猴GIS发现的,我们其实想过到底要不要写篇文...

生成对抗网络 | 实验

学习目录阿力阿哩哩:深度学习 | 学习目录​zhuanlan.zhihu.com上期我们介绍了阿力阿哩哩:生成对抗网络 | 原理及训练过程​zhuanlan.zhihu.com同样地,我们依旧通过实验来巩固我们刚刚所学的知识点。本次实验是基于Jupyer Notebook、Anaconda Python3.7与Keras环境。数据集是利用Minst手写体图像数据集。5.3.1 代码1.# chap

OpenCV中cv2.VideoWriter_fourcc()函数和cv2.VideoWriter()函数的结合使用

一、VideoWriter_fourcc()常见的编码参数参数列表cv2.VideoWriter_fourcc('M', 'P', '4', 'V')MPEG-4编码 .mp4 可指定结果视频的大小cv2.VideoWriter_fourcc('X','2','6','4')MPEG-4编码 .mp4 可指定结果视频的大小cv2.VideoWriter_fourcc('I', '4', '2',

#opencv#音视频#人工智能
EDAS, LATEX提交论文格式问题:Upload failed: The top margin is X in on pages X, which is below the required m

前言今天提交EDAS论文,发现现在的格式要求愈发严格,即使按照给定的latex模板提交,仍然报错了,差不多是这样:问题Upload failed: The top margin is 0.691 in on pages 4 and 5, which is below the required margin of 0.7 in.这个报错: Upload failed: The top margin

PyTorch 单机多卡操作总结:分布式DataParallel,混合精度,Horovod)

作者丨科技猛兽@知乎来源丨https://zhuanlan.zhihu.com/p/158375055导读本文介绍了数种实现单机多卡操作的方法,含有大量代码,并给出了实践中作者踩过的坑及其解决方案。在上一篇文章中(https://zhuanlan.zhihu.com/p/158375254)我们看到了多GPU训练,也就是最简单的单机多卡操作nn.DataParallel。但是很遗憾这种操作还不够优

#pytorch#分布式#深度学习
    共 60 条
  • 1
  • 2
  • 3
  • 6
  • 请选择