logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

信道编码之纠删码编码

简介随着数据的存储呈现出集中化(以分布式存储系统为基础的云存储系统)和移动化(互联网移动终端)的趋势,数据可靠性愈发引起大家的重视。集群所承载的数据量大大上升,但存储介质本身的可靠性进步却很小,这要求我们必须以更加经济有效的方式来保障数据安全。副本与纠删码都是通过增加冗余数据的方式来保证数据在发生部分丢失时,原始数据不发生丢失。但相较于副本,纠删码能以低得多的存储空间代价获得相似的可靠性。比如3副

RS纠删码

简介  随着数据的存储呈现出集中化(以分布式存储系统为基础的云存储系统)和移动化(互联网移动终端)的趋势,数据可靠性愈发引起大家的重视。集群所承载的数据量大大上升,但存储介质本身的可靠性进步却很小,这要求我们必须以更加经济有效的方式来保障数据安全。  副本与纠删码都是通过增加冗余数据的方式来保证数据在发生部分丢失时,原始数据不发生丢失。但相较于副本,纠删码能以低得多的存储空间代价获得相似的可靠性。

tensorflow 对应 的keras 版本, 版本不匹配会出现很多问题

目前已知的是: tensorflow 1.5 和 keras 2.1.4,1.4 和 2.1.3搭配,1.3 和 2.1.2 搭配,...

分布式机器学习平台搭建笔记

在最近的一段时间,主要投入到“分布式机器学习平台” 的技术选型和搭建过程,今天对前段时间的工作进行下总结。这项工作主要的主要出发点有两点,第一是将现有的服务器资源充分利用,达到分布式训练,提高训练速度。第二是将原有基于Spark的计算集群整合到k8s上,统一集群架构,统一使用容器来进行管理。本篇文章主要记录了第一部分工作完成的过程和相关经验,第二部分的工作可以查看博主的另一篇文章:。技术选型K8s

#分布式#机器学习#big data
MySQL模糊查询用法大全(正则、通配符、内置函数等)

SELECT * from table where username like '%陈哈哈%' and hobby like '%牛逼'这是一条我们在MySQL中常用到的模糊查询方法,通过通配符%来进行匹配,其实,这只是冰山一角,在MySQL中,支持模糊匹配的方法有很多,且各有各的优点。好了,今天让我带大家一起掀起MySQL的小裙子,看一看模糊查询下面还藏着多少鲜为人知的好东西。目录一、MySQL

#mysql#数据库#sql
李宏毅机器学习2020笔记(三)深度学习

一、深度学习1、简介不同的连接方法2、全连接前馈网络1*1+(-1)*(-2)+1=4--->sigmoid--->0.98相当于一个函数,输入一个向量,输出一个向量。如果w和b未知,神经网络就是一个比较大的function set。全连接、前馈。输入层只有data,输出层是最后一层,中间都称为隐藏层。现在基于神经网络的方法都是深度学习的方法。常常用矩阵运算来表示神经网络的运算。一连串

docker环境里安装opencv ImportError: libGL.so.1: cannot open shared object file: No such file or directory

错误:想在docker里跑训练,出现这个错误,是因为之前docker里安装的opencv无法使用。我之前是用这条命令安装的:pip install opencv-python1这条命令安装的opencv在本地的环境中可以使用,但无法在docker里使用。解决方法:在网上找了好多方法,最后是这样解决的:先把之前用上面命令安装的opencv删除,使用这条命令:pip uninstall opencv-

leetcode刷题(五):分治算法

风轻袖影翻公众号:顾先生的数据挖掘​关注他16 人赞同了该文章今天我们来讲一下分治算法,废话不多说了,我们开始吧!~!在分支策略中,我们对一个问题求以下三步递归:分解:将问题分解为一些子问题,子问题和原问题形式一样,只是规模更小。解决:递归地求解子问题,如果子问题规模足够小,则停止递归,直接求解。合并:将子问题的解合并成原问题的解。本文我会从一个求解最大子数组问题出发,进而介绍矩阵乘法的Stras

【机器学习】机器学习系统SysML 阅读表

SysML reading listReviewA Berkeley View of Systems Challenges for AIhttps://arxiv.org/pdf/1712.05855.pdfStrategies and Principles of Distributed Machine Learning on Big Datahttps://arxiv.org/abs/1512.

    共 24 条
  • 1
  • 2
  • 3
  • 请选择