logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

混淆矩阵介绍以及评价指标(准确率,精确率,召回率,特异度,假警报率,G-mean,F1_score,KS值)

混淆矩阵混淆矩阵(Confusion Matrix),可以理解为就是一张表格。混淆这个名字还是很有内涵的,咳咳。混淆矩阵是判断分类好坏程度的一种方法。另外还有ROC曲线和AUC曲线。以分类模型中最简单的二分类为例,对于这种问题,我们的模型最终需要判断样本的结果是0还是1,或者说是positive还是negative。我们通过样本的采集,能够直接知道真实情况下,哪些数据结果是positive,哪些结

#数据挖掘#机器学习
Kylin的介绍、使用和原理架构(Kylin3.0和Kylin4.0,Cube,去重原理,性能优化,MDX For Kylin,BI工具集成)

Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。在Apache Kylin的现有实现中,Cube的每个Segment都会创建独立的字典,这种方式会导致相同数据在不同Segment字典中被映射成不同的值,这会导致最终的去重结果

文章图片
#kylin#架构#hadoop +1
离线数仓-05-基于Superset进行可视化报表

主要是介绍了superset,以及基于superset进行数仓系统的可视化报表展示。

文章图片
#大数据#数据仓库
可视化报表-Superset的介绍的使用

Apache Superset是一个开源的、现代的、轻量级BI分析工具,由Python语言为主,能够对接多种数据源、拥有丰富的图表展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。官网 :https://superset.apache.org/国内支持的镜像站 :阿里云:http://mirrors.aliyun.com/pypi/simple/、豆瓣:https://pypi.doub

文章图片
#大数据
Doris-07-索引的详细介绍(前缀索引、Ordinal索引、Zone Map索引、Bitmap索引、Bloom Filter索引、NGram BloomFilter索引、倒排索引)

Apache Doris 存储引擎采用类似LSM树的结构提供快速的数据写入支持。进行数据导入时,数据会先写入 Tablet 对应的 MemTable 中,当 MemTable 写满之后,会将 MemTable 里的数据刷写(Flush)到磁盘,生成一个个不超过 256MB 的不可变的 Segment 文件。MemTable 采用SkipList的数据结构,将数据暂时保存在内存中,SkipList

文章图片
#大数据
最长公共子序列-动态规划

定义描述 若给定序列X={x1x_1x1​,x2x_2x2​,…,xmx_mxm​},则另一序列Z={z1z_1z1​,z2z_2z2​,…,zkz_kzk​} 是X的子序列,是指存在一个严格递增下标序列{i1i_1i1​,i2i_2i2​,…,iki_kik​}使得对于所有j=1,2,…,k有:zjz_jzj​= xijx_{i_j}xij​​ 。 例如,序列Z={B,C,D,B}是序列X={A

#算法#数据结构#动态规划 +1
Doris-04-数据导入和导出&数据备份和恢复

导入(Load)功能就是将用户的原始数据导入到 Doris 中。导入成功后,用户即可通过Mysql 客户端查询数据。为适配不同的数据导入需求,Doris 系统提供了 6 种不同的导入方式。每种导入方式支持不同的数据源,存在不同的使用方式(异步,同步)。所有导入方式都支持 csv 数据格式。其中 Broker load 还支持 parquet 和 orc 数据格式。(1)适用场景源数据在 Broke

文章图片
#数据库#大数据
机器学习-29-Pointer Network(指针网络)

文章目录Pointer Network简介Pointer NetworkApplications-Summarization(应用:文章内容总结)背景介绍使用Pointer-Generator网络的文本摘要方法赋予seq2seq模型复制能力——CopyNet使用多来源Pointer Network的产品标题摘要方法Applications-Machine Translation(应用:机器翻译)A

#机器学习#深度学习
机器学习-55-RL-07-Sparse Reward(强化学习-稀疏奖励:Reward Shaping,Curriculum Learning,Hierarchical RL)

实际上用 reinforcement learning learn agent 的时候,多数的时候 agent 都是没有办法得到 reward 的。在没有办法得到 reward 的情况下,训练 agent 是非常困难的。我们可以通过三个方向来解决 sparse reward 的问题:Reward Shaping,Curriculum Learning,Hierarchical Rl。

#深度学习#机器学习
python爬虫 -12- splash(简单介绍和爬取京东)

文档  ???? 官方文档安装docker pull scrapinghub/splashdocker run -it -d-p 8050:8050 --rm scrapinghub/splash使用在浏览器输入ip+host,并请求京东可以看到输入http://localhost:8050/render.html?url=https://search.jd.com/Search?keyword=

#python
    共 65 条
  • 1
  • 2
  • 3
  • 7
  • 请选择