logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

机器学习-45-ML-01-Meta Learning(元学习)

元学习,meta-learning,又叫learning to learn,直译即为学习如何学习,从中文字面上来理解,似乎这类算法更接近人类的学习方式——触类旁通,举一反三。而传统的深度学习方法虽然功力强大,但是框架无外乎都是从头开始学习(训练),即learning from scratch,对算力和时间都是更大的消耗和考验。

#神经网络#机器学习
机器学习-62-Structured Learning-03-Structured Support Vector Machine(结构化学习-结构化支持向量机)

本篇文章主要讲的是结构化的SVM,并且对结构化里面的一些基本理论和概念做一些基本介绍。根据这些概念,我们可以深刻的理解结构化的思想!以及对结构化SVM的基本认识!

#机器学习
机器学习-39-GAN-06-Tips for Improving GAN(改善GAN的技巧:WGAN,WGAN-GP,EBGAN,LSGAN)

这篇文章要说的是对传统的GAN进行的一些优化,为了使GAN更容易训练。比如WGAN,它在原始的GAN上面做了几点改动,成功地提升了原始GAN的表现。还有WGAN-GP,EBGAN和LSGAN。

#机器学习#深度学习
机器学习-47-ML-03-Metric-based Approach & Train+Test as RNN(元学习-support set和query set用于同一网络的方法)

我们有一个更疯狂的想法,能不能直接learn一个function,这个function既做了Learning,又做了Prediction。给它Training Data,它就learn好了;给它Testing Data,它就给出Testing Data的答案!

#深度学习#机器学习#神经网络
机器学习-49-RL-01-Deep Reinforcement Learning(强化学习-强化学习的基本介绍 & Policy-based方法的基本介绍)

2015年2月的时候,google在nature上发了一篇用reinforcement learning 的方法来玩akari的小游戏,然后痛鞭人类2016的春天,又有大家都耳熟能详的alpha go,也是可以痛鞭人类David Silver 说 AI 就是 Reinforcement Learning+Deep Learning Deep Reinforcement Learning : AI

#深度学习#机器学习
机器学习-25-Explainable ML(可解释机器学习)

所谓的可解释性其实也分为两种,一种是局部可解释性,一般指的是机器说明如何判断这个样例(例如分类问题中,机器如何将一张猫的图片分成猫);另一种是全局可解释性,一般指的是机器如何对总体进行特征判断(例如分类问题中,机器认为猫长什么样子)为什么我们需要这种可解释性呢?神经网络一般都是黑盒算法这确实,但并不是黑盒本身让我们难受,因为我们人的大脑也是个黑盒;而是如果我们没有一定的解释的话,我们可能会不爽。就

#机器学习
云安全(云安全数据中心、WAF、DDOS)

Web应用防火墙(Web Application Firewall,简称WAF)是一款网站必备的安全产品。和传统防火墙的区别是,它是工作在应用层的防火墙,主要对web请求/响应进行防护。用不上:无法应用复杂业务误报机率大无专人后续运维:产品升级慢、流程复杂不能及时防护最新漏洞紧急问题响应慢:不能第一时间定位问题原因、影响业务网站变卡、打不开:恶意海量肉鸡访问网站资源被耗尽网站数据被恶意爬取、短信流

文章图片
#ddos#安全#云原生 +1
Doris-06-监控、报警以及Doris的优化

过去 Apache Doris 的 SQL 执行引擎是基于行式内存格式以及基于传统的火山模型进行设计的,在进行 SQL 算子与函数运算时存在非必要的开销,导致 Apache Doris 执行引擎的效率受限,并不适应现代 CPU 的体系结构。向量化执行引擎的目标是替换 Apache Doris 当前的行式 SQL 执行引擎,充分释放现代 CPU 的计算能力,突破在 SQL 执行引擎上的性能限制,发挥

文章图片
#大数据
ClickHouse的介绍(基本sql操作,以及数据库引擎、表引擎、分片、副本、explain、优化、物化视图等)

ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。列式存储以下面的表为例:1)采用行式存储时,数据在磁盘上的组织结构为:好处是想查某个人所有的属性时,可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时,需要不停的查找,或者全表扫描才行,遍历的很多数据都

文章图片
#clickhouse
Hudi-并发控制

针对写入操作(upsert、insert等)利用乐观并发控制来启用多个writer将数据写到同一个表中,Hudi支持文件级的乐观一致性,即对于发生在同一个表中的任何2个提交(写入),如果它们没有写入正在更改的重叠文件,则允许两个写入都成功。Hudi默认这种模型。Hudi写入parquet文件,需要使用一定的堆外内存,如果遇到此类故障,请考虑设置类似 spark.yarn.executor.memo

#大数据
    共 157 条
  • 1
  • 2
  • 3
  • 16
  • 请选择