如何将 Airflow 调度框架与 DolphinDB 数据库结合起来进行结构化 ETL 作业管理~

1. 概述物联网设备（如机床、锅炉、电梯、水表、气表等等）无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据的在采集、计算、分析过程中又常常涉及异常数据的检测。DolphinDB作为一个高性能的分布式时序数据库 (time series database)，内置了一个流数据框架，既能实时处理分析这些物联网数据，也能对历史数据进行计算分析，帮助用户利用、发挥这些数据的价值。DolphinDB

本文为大家介绍一个针对工业异常监控的解决方案架构，基于 DolphinDB 规则引擎，快速搭建一个化工异常检测及实时预警系统。

行列转换（pivot）是一个常见的整理数据的需求，又称为转置或者透视。高频数据通常以下图的格式保存：每一行为一个股票在某个时刻的信息。我们进行数据处理时，考虑到后续的向量化操作，有时会希望数据或者中间结果将原始数据转置，即每行代表不同的时刻，而每列代表一只股票。在DolphinDB中可通过pivot by语句对原始数据或分组聚合结果进行行列转置。若与向量化操作搭配使用，在高频数据处理和计算中，行列

随机森林是常用的机器学习算法，既可以用于分类问题，也可用于回归问题。本文对scikit-learn、Spark MLlib、DolphinDB、xgboost四个平台的随机森林算法实现进行对比测试。评价指标包括内存占用、运行速度和分类准确性。本次测试使用模拟生成的数据作为输入进行二分类训练，并用生成的模型对模拟数据进行预测。1. 测试软件本次测试使用的各平台版本如下：scikit-learn：Py

数据是工业物联网的血液。但是国内绝大部分的MES系统，以及所谓的智慧工厂，对生产过程中产生的海量的工艺数据，保存不会超过三个月，更不用说进一步对积累的数据研究利用了。数据的实时采集、计算和反控则对工业物联网背后的数据平台的实时计算能力提出了很高的要求。传统的关系型数据库，大部分开源的NoSQL，以及新一代的NewSQL离工业物联网数据平台的这两个苛求要求还有较远的距离。以DolphinDB Dat

DolphinDB 推出的因子开发管理平台 Starfish 内置策略模块，能够帮助用户便捷地自定义策略函数、配置与创建策略、执行回测并获取回测结果展示。平台更提供自定义参数寻优和绩效归因分析功能，使策略开发和评估变得更加精准和系统化。

自营交易延迟高，数据存储成本高；在完美诠释“时间就是金钱”的量化投资领域，国内某头部券商正携手 DolphinDB 掀起一场技术变革，打造新一代 AI 量化投研数据中心，以毫秒级响应万亿级时序数据，实现超上千因子实时计算和多策略并行执行，机构客户服务响应效率提升10倍，重塑券商科技护城河。支撑这场变革的，是 DolphinDB 构建的"采-存-算-服"一体化架构，整合多种数据源，支持复杂策略研究，

1. 工业物联网的数据特点和痛点工业物联网的数据采集有着频率高、设备多、维度高的特点，数据量非常大，对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据，对系统预警，监控，甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行，这给整个系统带来了更大的压力。对于采集到的海量历史数据，通常还需要进行离线的建模和分析。因此，工业物联网的数据平台有着非常苛刻的要求，既要有非

随着大数据技术在生产领域的深入应用，基于机器学习的智能预警已经成为各大生产企业进行生产数据异常率预警的一种有效解决方案。