Skip to main content

数据处理

dgiot 内置了数据处理引擎，提高数据处理的实时性，降低边云通信成本，为工业场景提供低延迟的数据接入管理及智能分析服务。

架构​

dgiot 数据处理模块的架构如下：

arch

特点及优势​

低延迟​

提供低延迟的数据处理分析，能够更快速地将数据在多系统间传递，结合 AI/ML 算法，可以实现智能决策与控制。

完整的数据分析​

  • [数据抽取、转换和过滤]
  • [数据排序、分组、聚合、连接]
  • 160+ 各类[函数]，覆盖数学运算、字符串处理、聚合运算和哈希运算等
  • 4 类[时间窗口]，以及计数窗口

AI/ML 集成​

可通过 Python 或者 GRPC 扩展接入自定义函数、 AI/ML 算法等，实现在源(Source)，函数(Function), 动作(Sink) 三个方面的扩展.

  • [源 (Source)] ：允许用户接入更多的数据源用于数据分析
  • [目标 (Sink)]：允许用户将分析结果发送到不同的扩展系统中
  • [函数(Function)]：允许用户增加自定义函数用于数据分析（比如，AI/ML 的函数调用）

多源数据接入集成​

具备各类数据灵活获取的能力，可以支持：

  • MES、WMS、ERP系统对接

  • 数据库对接

  • 企业服务总线（ESB）对接

  • 文件数据采集

  • 视频流接入分析