DataMesh FactVerse DFS

概述

DFS（Data Fusion Services）是一款用于连接和处理工业数据的融合引擎，能够整合、处理来自不同工业软件的数据，以便进行数据分析和业务优化。DFS可支持模拟数据或实时数据输入，并与设备及数字孪生体关联，实现数据驱动的模拟和优化。

主要组成

DFS 数仓：DFS 数仓负责整体管理、数据存储、统计计算、报表服务等功能。其主要特点包括：

• 连接多个 DFS 适配器，并进行统一管理和配置。
• 提供存储服务，通过连接存储硬件（硬盘阵列）来存储数据，并支持外挂扩展。
• 采用双网卡设计，分隔接入与输出，提高安全性。
• 在私有部署情况下，通常以柜式服务器形式部署在用户的机房中。

DFS Hub：DFS Hub 是连接各种适配器和 DFS 的中心点，负责数据的接收、处理和分发。其主要特点包括：

• 负责将外部数据接入 DFS 系统，并进行初步的处理、转换和清洗。
• 所有数据存储于 DFS 数仓的存储服务之中，DFS 适配器自身不做数据存储。
• 一套 DFS 系统可以有多个 DFS 适配器，每一个 DFS 适配器都连接到 DFS 数仓。
• 支持 RS485、MQTT、HTTP、Modbus、OPC UA 等主流通信协议，能够对接 MES、PLM、WMS、SCADA 等工业软件数据。
• 在私有部署情况下，DFS 适配器通常部署在设备现场或产线附近，通过有线或无线方式与 DFS 数仓连接。

部署

关键步骤

以下是 DFS 部署中的关键步骤和连接过程：

1. 客户设备连接数采系统：首先，客户的设备需要连接到数采系统，以便从设备中采集数据并传输到 DFS 系统中。
2. 连接数采系统到 DFS Hub：

• • DFS Hub 是连接各种适配器和 DFS 的中心点，负责数据的接收、处理和分发。
  • 数采系统通过与 DFS Hub 连接，将采集到的数据发送到 DFS 中进行进一步处理。

3. 连接 DFS Hub 到 DFS 数仓：从 DFS Hub，数据进一步传输到 DFS 数仓系统，DFS 数仓中的 Node-RED 模块负责采集数据源至 ODS 数仓，并通过 ETL 清洗数据，去除异常。
4. 连接 DFS 数仓到 FactVerse：处理后的数据根据业务需求导入到 Data Mart 中，并通过数据映射接口连接 ODS、ETL、Data Mart，选取所需数据连到数字孪生体。这一步骤确保了将清洗并符合业务需求的数据导入到 FactVerse，用于构建数字孪生环境。

云主机部署

云主机部署适用于对数据实时性要求不高的场合，通过云市场镜像快速部署 DFS 云主机，并配置连接 FactVerse 服务的环境。

优点

• 快速部署：通过云市场镜像，可以快速搭建 DFS 环境，节省部署时间。
• 灵活性：根据需求灵活选择云主机规格和配置。

典型用例

• 快速验证环境 POC（Proof of Concept）：企业想要快速验证 DFS 与现有系统的兼容性和效果，可以通过云主机部署进行POC测试。
• 历史数据的场景回放：可以利用云主机部署 DFS 来进行历史数据的场景回放，以模拟特定时间段内的数据情况，进行分析和测试。
• 基于模拟数据发生器的推演和计算：企业需要进行基于模拟数据的推演和计算，可以在云主机上部署 DFS，并结合模拟数据发生器进行实验和计算。

私有化部署

私有化部署适用于对数据实时性要求高的场合，可以通过 DFS 数仓和 DFS Hub 一体机在现场环境部署。

优点

• 实时性：私有化部署可以更好地控制数据传输和处理的实时性，适用于对实时数据处理要求较高的场景。
• 安全性：私有化部署可以提高数据的安全性和隐私保护，满足企业对数据安全的需求。
• 可控性：企业可以完全掌控 DFS 环境，根据自身需求进行定制和优化。

典型用例

• 现场数据采集平台对接：在工厂等现场环境需要进行实时数据采集和监控的场景下，可以通过私有化部署搭建 DFS 环境，与现场数据采集平台进行对接和集成。
• 生产环境实时监控与管理：对于生产环境需要进行实时监控和管理的场景，可以通过私有化部署搭建 DFS 环境，实现对生产数据的实时处理和监控。
• 基于较大数据量的分析推演计算：需要进行大规模数据分析和推演计算的场景，可以通过私有化部署搭建 DFS 环境，满足对大数据量处理和计算的需求。

典型应用场景

DFS 适用于多种场景，包括但不限于以下几个方面：

1. 模拟/回溯（历史数据）

描述： 通过数据发生器建立模拟/历史数据源，将数据映射到数字孪生体，用于模拟和回溯分析。

应用：

• • 在生产环境中，通过模拟数据发生器生成模拟数据，用于测试和优化生产流程，预测生产状况。
  • 利用历史数据源回溯分析，了解过去生产数据的趋势和特征，为未来的决策提供参考依据。

2. 实时连接以供业务查看

描述：连接数采平台，将实时数据从现场设备、传感器或其他数据源直接传输到 DFS，然后映射到数字孪生体中，以建立实时数据管道，支持数字孪生业务的实时监控和应用。

应用：

• • 在工厂生产过程中，通过实时连接将各类传感器数据实时采集到 DFS 中，实现对生产过程的实时监控和管理。
  • 将实时监控的数据映射到数字孪生体，构建实时数字孪生环境，帮助企业实现实时预测和优化。

3. 分析计算

描述：输出清洗后的数据集，供给 BI、机器学习、AI平台使用，用于进一步的数据分析和洞察。

应用：

• • 将经过清洗和转换的数据集输出给 BI 工具箱，进行数据可视化分析，生成报表和图表，帮助企业了解数据背后的趋势和规律。
  • 将清洗后的数据集提供给机器学习和 AI 平台，进行预测建模、异常检测等高级分析，为企业提供更深层次的数据洞察和决策支持。

功能模块

DFS 1.2 版本包含以下核心功能模块，支持数据接收、转换、管理及孪生体关联，以实现数据驱动的模拟和优化。

DFS适配器

DFS 适配器用于连接外部数据源并进行数据预处理、转换和清洗，使数据可以在 DFS 平台中进行存储和使用。

适配器模板

适配器模板用于定义数据接入、转换、过滤等规则，确保数据处理的一致性和高效性。

模板管理：创建、修改、删除适配器模板，定义数据接入、处理及输出方式。

适配器实例

适配器实例是基于适配器模板创建的具体数据接入点，并使用特定的模板进行数据处理。

数据源管理

数据源管理模块用于管理和配置不同类型的数据源，包括历史数据源和模拟数据源。

历史数据源

历史数据源用于存储过去的运行数据，以便进行回溯分析、趋势预测和异常检测。

模拟数据源

模拟数据源用于生成虚拟数据，模拟真实数据流，以支持测试和仿真分析。

孪生体关联

孪生体关联模块用于将物理设备的数据与数字孪生体进行映射，实现基于数据驱动的仿真和优化。

场景配置

场景配置用于创建和管理数字孪生体的虚拟场景，以实现设备状态的可视化和数据关联。

• 场景创建：支持通过 FactVerse Designer 创建数字孪生场景。
• 场景导入：从 FactVerse 平台直接导入已有的孪生体场景，并在 DFS 进行数据绑定。

设备绑定

设备绑定用于将实际设备与数字孪生体进行关联，以确保数据能够驱动虚拟模型的运行。

设备的三种来源：

1. 在设备绑定页面直接导入设备信息
2. 创建适配器实例时导入设备信息
3. 创建模拟数据模拟任务时导入设备信息

数据驱动流程

使用 DFS 实现数据驱动的设备交互的流程如下图所示：

1. 导入数字孪生场景：
2. 选择数据源：（历史数据源、模拟数据、实时数据）
   • 历史数据：基于设备或场景的历史数据创建模拟任务
   • 模拟数据：上传设备数据，生成设备信息，并创建模拟任务
   • 实时数据：接入外部数据源，生成设备信息，并设置数据处理规则
3. 绑定设备与孪生体：建立实际设备与数字孪生体的关联，使其能够响应数据变化。

导入数字孪生场景

1. 创建数字孪生场景：使用 FactVerse Designer 创建数字孪生场景，确保场景中包含实际设备对应的孪生体。

示例：场景中包含一个机械臂（Robot for DFS data validation），稍后将在绑定设备与孪生体步骤中绑定到实际设备。

2. 导入数字孪生场景

a) 登录DFS管理平台。

b) 在孪生体关联 > 场景配置页面中，点击【导入】打开导入窗口。

c) 在导入窗口中，选择要导入的场景（例如“DFS-DEMO”），然后点击【确认】按钮。

创建数据源

数据源用于驱动设备交互，可选择历史数据、模拟数据或实时数据。

数据源类型

历史数据：基于设备或场景有历史数据记录来模拟或验证设备性能，适用于需要分析设备过去的数据趋势，以进行性能分析或预测未来行为。

模拟数据：无历史或实时数据时使用，适用于测试、验证、展示、开发阶段。例如：

• 设备测试：模拟设备在特定环境中的数据，验证设备的响应或优化设备配置。
• 数据展示或验证：在缺少历史数据或实时数据的情况下，通过模拟数据进行场景展示或验证。
• 没有设备实时数据：如果设备暂时没有实时数据输出，模拟数据能够帮助进行早期测试或开发。

实时数据：设备在线运行，并可提供实时数据流。适用于以下场景：

• 动态监控：需要实时监控设备或系统的状态，实时数据驱动孪生体更新。
• 实时决策支持：需要基于实时数据进行优化和调度。
• 设备互联：多个设备需通过实时数据进行相互协调，调整或响应事件。

创建历史数据模拟任务

历史数据源可用于数据回放、仿真测试和趋势分析，帮助用户基于设备或场景的历史数据进行模拟。

操作步骤

1. 新建模拟任务：在数据源管理 > 历史数据源页面中点击【新建任务】打开新建窗口。
2. 命名模拟任务：输入模拟任务的名称。
3. 选择数据（基于设备或场景）：

• • 设备历史数据：选中【设备】选项，并点击【+选择设备】从设备列表中选择要用于执行模拟任务的设备。
  • 场景历史数据：选中【场景】选项，并点击【+选择场景】从场景列表中选择用于执行模拟任务的场景。

4. 设置模拟任务开始时间：设置模拟任务的开始时间，以确定模拟数据生成的时间范围。
5. 选择是否循环模拟：

• • 开启：新建的模拟数据源任务会循环执行，适用于持续性测试或长期展示场景。
  • 关闭：模拟数据源任务仅执行一次，适用于单次测试或验证场景。

6. （可选）选择历史数据范围：选择回放的历史数据时间段。
7. 确认创建：点击【确认】按钮，完成模拟任务的创建。

创建模拟数据模拟任务

模拟数据用于在无真实设备数据的情况下，生成数据流以支持测试、验证或展示。

操作步骤

1. 新建模拟任务：在数据源管理 > 模拟数据源页面中点击【新建任务】打开新建窗口。

2. 填写模拟任务信息：

a) 命名模拟任务：输入模拟任务的名称。

b) 上传数据：此步骤用于导入设备数据并生成设备信息。

• • 上传已有数据文件：选择已经准备好的数据文件进行上传，支持格式如Excel或Text文件。确保数据文件中包含设备的相关属性，数据格式需要符合预设的标准，以便系统正确读取和解析。
  • 下载模板并填写数据：如果没有准备好的数据文件，可以选择下载预定义的模板（Excel或Text格式）。如果设备支持数据导出，可以基于设备系统导出的数据文件，根据模板要求填写数据后再上传。

数据文件模板

模板参数说明：

• • serial：设备名称。
  • ts：时间戳（毫秒）。
  • datas：设备属性及其对应的值：
    • key：属性名
    • data：属性值

注意：设备的属性名称必须与数字孪生体的属性名称匹配。如果属性名称不匹配，需要在后续的设备与孪生体绑定步骤中手动进行属性绑定。

c) 选择设备：点击【+选择设备】从设备列表中选择要用于执行模拟任务的设备。

注意：此处选择的设备必须包含在上传的数据文件中。只有数据文件中包含的设备才能参与模拟任务。

d) 设置模拟任务开始时间：设置模拟任务的开始时间，以确定模拟数据生成的时间范围。

e) 选择是否循环模拟：

• • 开启：新建的模拟数据源任务会循环执行，适用于持续性测试或长期展示场景。
  • 关闭：模拟数据源任务仅执行一次，适用于单次测试或验证场景。

3. 确认创建任务：点击【确认】按钮，完成模拟任务的创建。

接入实时数据

实时数据可从外部数据源接入，需进行数据接入接口和数据处理规则的配置，确保数据在流入 DFS 之后能够正确存储、处理和应用。

设置数据接入接口

在DFS管理平台中，需要配置好数据接入接口，确保DFS能够正确地接收到从数采系统发送过来的数据。

具体步骤如下：

1. 在DFS适配器 > 适配器实例页面，点击【新建】按钮创建一个新的适配器实例。
2. 在新建窗口中，填写适配器实例名称、DFS适配器IP地址（DFS适配器的被管理IP）及接口等信息。

IP地址的设置规则：

• • 单机DFS适配器多个适配器实例时，IP地址相同端口不同；
  • 多机DFS适配器时，IP地址不同。

3. 填写完成后，点击【确认】。

设置数据处理和加工规则

在 DFS 管理平台中，需要设置一系列的数据处理和加工规则，以满足用户特定的业务需求。这可能包括数据清洗、转换、聚合、计算等操作，以确保处理后的数据符合用户的预期。

具体步骤如下：

1. 在 DFS 适配器 > 适配器模板页面，点击【新建】打开新建窗口。
2. 在新建窗口中，填写模板名称和模板数据。
3. 打开 DFS 适配器 > 适配器实例页面，点击适配器实例相应的【选择模板】按钮 ，选择适配器模板为适配器实例设置数据处理规则。

4. （可选）在 Node-RED 中编辑数据处理和加工规则。

a) 点击【编辑适配器】按钮 ，即可打开 Node-RED 编辑界面。

b) 在 Node-RED 编辑界面中编辑节点。

绑定设备和孪生体

孪生体和设备绑定是将实际设备与数字孪生环境中的虚拟对象（孪生体）进行关联的过程，以实现数据驱动的模拟和优化。

1. 在孪生体关联 > 设备绑定页面中，找到要绑定的设备，例如设备 Robot，点击相应的详情按钮，打开设备的详情页。

2. 在设备配置栏里，点击【配置孪生体】按钮，打开配置孪生体窗口。

3. 在配置孪生体窗口中，点击设备所属场景的下一级按钮。

4. 选中要绑定的孪生体，点击【确认】完成设备与孪生体的绑定。

5. 手动关联孪生体属性与设备属性：适用于当孪生体中的属性名称和设备属性名称不匹配时，进行手动关联

a) 点击属性标签，点击设备属性的绑定图标 。

b) 在弹出的绑定属性窗口中，选择要关联的属性，然后点击【确定】。

验证：在 FactVerse Designer 中，打开场景 DFS-DEMO。点击播放按钮，观察机械臂在数据驱动下的姿态变化。

术语表

Data Fusion Services (DFS)：FactVerse 数据融合服务，用于持续连接真实世界数据到 FactVerse。

DFS Adapter（DFS 适配器）：DFS 用于对接各类数据源持续获取数据的适配器。

DFS Hub：承载多个 DFS 适配器的服务器/集线中心。

DFS Data Warehouse（DFS 数仓）：承载 DFS 各类数据存储、处理、使用的服务器。

DFS ODS：DFS 数仓中的原始数据存储服务。

Node-RED：基于流程编程的开源物联网低代码可视化设计工具，在 DFS 中用于前置 ODS 数据规则设计。

DFS ETL：DFS 数仓中的ETL服务，主要用于持续的数据抽取和清洗。

DFS Data Mart （DFS 数据集市）：DFS 数仓中的处理后数据分发服务，用于为业务系统、报表系统、分析学习系统等提供处理好后的数据包。