1. 业务沟通与业务确认（1）哪些数据（2）想做什么事情（3）之前是怎么做的（4）之前有什么不满意的地方（5）能不能用机器学习方法来做（6）如何转换机器学习问题以及优先级（*）（7）训练出来的模型怎么用（8）期望达到什么样的效果（确定业务目标）2. 业务问题转换机器学习问题（1）是否可以用机器学习方法来做（2）如何设计开发节奏（3）最终产品的检...

情绪识别，其实就是多分类。 构造特征工程。混淆矩阵来分析分类错误数据。

文章目录1. 什么是数据湖2. iceberg的特性2.1 优化数据入库的流程2.2 支持更多的分析引擎2.3 统一数据存储和灵活的文件组织2.4 增量读取处理能力3. 数据湖技术催生的新架构3.1 原有方案3.2 新方案4. 新架构应用场景1. 什么是数据湖准确来讲就是数据入湖中间件技术，它并不是一个存储或者计算引擎，它的存在就是更好的将存储和计算解耦，构建与存储格式之上的数据组织方式，并提供A

1. 业务沟通与业务确认（1）哪些数据（2）想做什么事情（3）之前是怎么做的（4）之前有什么不满意的地方（5）能不能用机器学习方法来做（6）如何转换机器学习问题以及优先级（*）（7）训练出来的模型怎么用（8）期望达到什么样的效果（确定业务目标）2. 业务问题转换机器学习问题（1）是否可以用机器学习方法来做（2）如何设计开发节奏（3）最终产品的检...

情绪识别，其实就是多分类。 构造特征工程。混淆矩阵来分析分类错误数据。

traindata.txt的数据格式Newsweek/NNP,/,trying/VBGto/TOkeep/VBpace/NNwith/INrival/JJTime/NNPmagazine/NN,/,announced/VBDnew/JJadvertising/NNrates/NNSfor/IN1990/CDand/CCsaid/VBDit/PRPwill/MDtag2id, id2tag = {}

文章目录1. 即席查询2. Kylin2.1 架构2.2 原理2.3 Cube构建优化3. Impala3.1 架构3.2 优化4. Druid4.1 架构4.2 数据结构4.2.1 DataSource4.2.2 Segment结构5. Presto5.1 架构5.2 数据源6. ClickHouse6.1 特性6.2 架构7.总结1. 即席查询即席查询是用户根据自己的要求，灵活的选择查询条件，

文章目录1.数据仓库与数据集市的区别1.1 数据仓库1.2 数据集市1.3 主要区别2.如何建立数据集市1.数据仓库与数据集市的区别1.1 数据仓库数据仓库是一个面向主题的、集成的、相对稳定的 、反映历史变化的数据集合用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据...

文章目录1. 什么是Flink？2. Flink的组件栈3. Flink集群运行时的角色及其作用4. Flink分区策略5. Flink容错机制6. Flink计算资源的调度是如何实现的？1. 什么是Flink？Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink 提供了诸多高抽象层的 API 以

Spark StreamingSPark Streaming是Spark中一个组件，基于Spark Core进行构建，用于对流式进行处理，类似于Storm。Spark Streaming能够和Spark Core、Spark SQL来进行混合编程。Spark Streaming我们主要关注：Spark Streaming 能接受什么数据？ kafka、flume、HDFS、Twitte...