概述

保存

用户可随时点击右上角保存按钮，输入元素编码和名称，以完成数据流的创建，生成对应的数据流元素。

保存前会进行校验，若校验出存在错误，则不允许保存，完整校验文档（仅供先胜内部成员查看）：DPL_校验梳理。

校验不通过的内容会以表格样式展示在底部，点击每一行可以定位至具体配置处。

元素信息也可以在左侧菜单：设置->全局设置（元素信息）中进行编辑。

注意：元素保存后编码不可再更改，仅可通过元素管理中的元素重命名更改编码。

发布

数据流保存后，并未生效，仅作为设计版本，若需运行此数据流，则需要发布。

在主版本视图，可以点击右上角的发布按钮，将当前的已保存版本发布为正式版本，若有定时计划，则在发布成功后会开始定时运行。

发布需要进行相关校验，完整校验文档（仅供先胜内部成员查看）：DPL_校验梳理，若校验不通过，会有对应错误提示。

启动api

数据流元素保存之后，自动生成本数据流的端点地址，可快速复制同步或异步调用的 crul。

定时

可选配置，启用后必须配置 cron 表达式，cron 表达式支持 5 位，可以参考在线网站帮助生成：https://crontab.guru/。

数据流也提供了插入工具，以帮助您生成 cron 表达式：

输入表达式后，会实时解析该规则的描述，展示在表达式下方，并且提供预览最近 10 次执行时间的功能，用以辅助您检查表达式是否正确。

若数据流的已发布版本中，存在启用的定时计划，则会在到时后自动触发数据流，如需管理这些启用中的定时计划，可至数据流监控中进行统一管理。

Python SDK

数据流提供了同步和异步启动的Python SDK，可查看对应文档：https://py.deepfos.com/deepfos/generated/deepfos.element.deep_pipeline.DeepPipeline.html#

关联元素

先生云平台其他组件也支持启动数据流，详见：

关联元素

数据流实例

区分数据流元素，管理其所有的历史运行实例

• 左侧是数据流元素列表，可以进行查找、排序、设置显示元素编码或名称，可以快速跳转至元素编辑界面

• 右侧是该数据流元素的执行实例，可以对实例进行删除、终止、重新运行、查看日志等操作

  
  
  
  
  

定时计划

用于管理所有启用中的、设置了定时触发的数据流，可以对定时计划进行删除、终止、重新运行、查看日志等操作。

概述

数据流节点目前归类如下：

各节点的详细配置和使用案例请进入对应章节查看。

公共配置

即使是不同节点，大多数都有以下公共配置，在此处一并说明，在各具体节点不再赘述。

节点列表

大纲栏中展示节点列表，可以对具体节点进行：编辑、删除、复制。

调试

每个节点的右上方都有两个调试按钮：调试本节点、带前序节点一同调试。

某些支持在节点内细分步骤的节点，例如UI转换，则调试本节点表示

以下图为例，说明这三种调试会执行的节点范围：

调试相关结果会展示在调试栏，调试栏包含的内容如下。

表结构

某些节点会获取数据源的 schema 信息，例如连接器查询、数据表查询等节点，会在选择数据源后，展示该数据源的 schema，例如：

结果-数据

调试后的数据结果，非数据集结果的样式与数据类型有关：

数据集结果为表格样式：

结果-SQL

某些节点利用 DuckDB 实现，会提供配置项转换后实际执行的 SQL 语句，以便排查问题。

结果-PRQL

某些节点利用 PRQL 实现步骤转换 SQL，会提供配置项转换后的 PRQL 语句，以便排查问题。

结果-结构

此节点调试后的数据结构：

日志（暂无）

记录该节点的调试日志：

变量

在各节点的配置中，经常会引用到前序节点的信息或全局配置的某些属性，我们提供了系统预置变量，以供在各节点配置时使用。

完整的变量体系见下表，引用方法参考示例列的表达式列，例如想要引用节点 node1 的运行结果，则输入 Operator.node1.data 即可。

DPL_变量体系整理

邮件通知

支持向指定邮箱发送相关异常信息。

开启后允许输入邮箱地址，多个地址需要用半角逗号,隔开。

邮件内容示例：

机器人通知

支持添加多个渠道的机器人，添加机器人需要为其命名，并输入Webhook地址，通过Webhook调用机器人。

目前支持的渠道包括：钉钉、飞书、企业微信。

各渠道的推送数据不相同：

• 钉钉和企业微信终端无需额外配置，直接展示推送的内容，内容格式固定，涵盖数据流的以下信息：

  • 元素名称

  • 元素链接

  • 实例 ID

  • 实例名称

  • 实例开始时间

  • 异常节点名称

  • 异常信息

• 飞书还需要自行配置机器人才能实现发送通知的功能，因此我们为飞书渠道提供了更丰富的数据，页面上可以预览数据格式以便您配置机器人

以下是我们对各个渠道推送的数据格式说明，及其各渠道相关的Webhook文档，供开发人员参考：

• 企业微信（markdown类型的消息）：https://developer.work.weixin.qq.com/document/path/91770#%E6%96%87%E6%9C%AC%E9%80%9A%E7%9F%A5%E6%A8%A1%E7%89%88%E5%8D%A1%E7%89%87

{
	"msgtype": "markdown", //消息类型：markdown
	"markdown": {
		"content":""//符合markdown语法的消息内容
	}
}

• 钉钉（markdown类型的消息）：https://open.dingtalk.com/document/orgapp/custom-bot-send-message-type?spm=ding_open_doc.document.0.0.69cf227d0KuBEo

{
	"msgtype": "markdown", //消息类型：markdown
	"markdown": {
		"title": "数据流执行异常通知", //首屏会话透出的展示内容
		"text": "" //符合markdown语法的消息内容
	}
}

• 飞书：https://www.feishu.cn/hc/zh-CN/articles/807992406756-webhook-%E8%A7%A6%E5%8F%91%E5%99%A8

{
	"data": {
		"subject": "数据流【XX】 执行异常通知：XX数据流实例ID", //消息标题
		"content": "请联系数据流管理员进行异常处理\n实例名称: XX数据流实例\n开始时间: 1900-01-01 00:00:00}\n异常节点: 节点1,节点2\n异常信息: 异常1,异常2\n数据流元素: [点击跳转](当前数据流元素URL})", //消息内容
		"element_name": " XX数据流实例", //异常数据流元素名称
		"element_url": "当前数据流元素URL", //异常数据流元素链接
		"run_id": "XX数据流实例ID", //异常的数据流运行实例ID
		"run_name": "XX数据流实例", //实例名称
		"start_time": "1900-01-01 00:00:00", //异常实例的运行开始时间
		"node_name": [
			"节点1",
			"节点2"
		], //导致异常的节点名称
		"node_code": [
			"code1",
			"code2"
		], //导致异常的节点编码
		"error_msg": [
			"异常1",
			"异常2"
		] //异常信息
	}
}

元素信息

用于配置元素相关信息。

• 编码：元素保存后，编码不可修改，元素管理员可进入元素管理管理界面使用重命名功能修改编码。

• 实例名称：是发起的每一条实例的名称，同一个数据流元素发起的多个实例，可以拥有不同的实例名称，以区别不同实例，未配置实例名称时，则用元素名称默认。

  • 配置实例名称时可用双花括号{{}}占位，在括号内可引用原始启动参数params，并用.或者[]访问成员值

  • 例如，原始启动参数是：{"YEAR":"2023", "PERIOD":"01"}，实例名称配置为财务报表集成-{{params.YEAR}}{{params.PERIOD}}，则可以得到财务报表集成-202301

  • 流程监控中会展示流程实例的实例名称，用户通常以此来直观区分不同实例

    
    
    
    
    

PY 设置

用于配置 PY 节点的公共代码。