数据流产品支持实时调试各节点,调试所需的表结构、调试结果等信息都可视化展示在属性栏的底部,调试后自动展开以便查看。
调试的入口在每个节点的属性栏的右上方,提供两个调试按钮:仅调试本节点
、从开始调试至本节点
。
某些支持在节点内细分步骤的节点,例如数据转换
,仅调试本节点
表示
从开始调试至本节点
表以下图为例,说明这三种调试会执行的节点范围:
当前节点 |
当前选中步骤 |
仅调试本节点 |
从开始调试至本节点 |
---|---|---|---|
节点 2 |
- |
节点 2 |
开始 -> 节点 1 -> 节点 2 |
节点 3 |
- |
节点 3 |
开始 -> 节点 3 |
节点 4 |
步骤 2 |
节点 4 的步骤 1 -> 步骤 2 |
开始 -> 节点 1 -> 节点 2 |
调试相关结果会展示在调试栏,调试栏包含的内容如下。
调试栏位于节点配置属性栏的下方,可以横向展开收起、竖向展开收起、拖拽高度等,会展示调试的状态(成功或失败)和调试运行时长。
调试栏的横向标签页包括:采样对比、表结构、结果、日志。
采样对比:对账节点特有,详见章节:对账 — 数据集-转换 | DeepFOS Docs
表结构:需要配置数据源的节点特有,用于展示数据源的schema信息,schema决定了数据源字段的下拉可选范围,若schema有更新,需要到表结构中主动点击刷新按钮,以获取最新的schema,字段的可选下拉范围也会随之更新
结果:所有的节点都一定会有结果标签页,该标签页用于展示调试的结果信息。由于调试结果的内容可能简单也可能复杂,这根据节点类型不同有所区分(比如PY代码
节点就一个数据结果,但数据集类型的节点,还会根据调试结果进行统计分析、展示结果的数据结构等),所以我们对结果标签页又进行了细分,每个不同类型的节点,结果标签页中展示的明细有所不同,详见后续章节
日志:所有的节点都一定会有日志标签页,用于记录预置日志内容和用户主动输出的日志内容,有利于管理员排查问题
某些节点会获取数据源的 schema 信息,例如连接器查询
、数据表查询
、DeepModel查询
等节点。
选择数据源后,在调试栏的表结构会展示该数据源的 schema。
表结构会影响对应字段下拉的选择范围,若schema有更新,需要到表结构中主动点击刷新按钮,以获取最新的schema,字段的可选下拉范围也会随之更新。
调试栏的结果标签页,又进行了细分,每个不同类型的节点,结果标签页中展示的明细有所不同。
大多数节点都有数据
页,该页用于展示调试的数据结果。
数据集类型的节点,展示为表格样式:
双击标题右侧的表格竖分割线,可以根据表格内容自动调整列宽,可以多选N列的单元格,双击会自动调整所选多列的列宽
预览:支持预览至多1万条数据,支持下载所见的预览数据(预览多少条就下载多少条,所见即所得,如需下载完整数据,请使用导出节点,详见章节:导出 — 标准 | DeepFOS Docs)
非数据集结果的样式与数据类型有关:
某些节点利用 DuckDB 实现,会提供配置项转换后实际执行的 SQL 语句,以便排查问题。
某些节点利用 PRQL 实现步骤转换 SQL,会提供配置项转换后的 PRQL 语句,以便排查问题。
输出结果为数据集的节点,可对调试结果进行统计分析。
统计范围为调试得到的完整结果,包括因预览数量限制而未展示的数据。
关于占比数量的特殊说明:
大于 99% 且小于 100% 的数值,会显示> 99%
小于 1%且大于 0%的数值,会显示< 1%
展示此节点调试后的数据结构:
条件分支
节点特有的结果,用于展示哪条分支成立(该节点的data变量中实际存储的值是成立分支的后续节点的节点id,非节点名称)。
记录该节点的调试日志。除系统预置日志内容外,用户有两种常见方式,来输出自定义的日志内容。
1、用户在PY代码
和PY转换
节点,可以通过print来进行打印,打印的内容会输出在日志中,例如:
2、除此之外,当数据流中编排了大量调用其他先胜云组件的节点,推荐将curl输出在日志中,以便排查问题。用户可以在全局设置-PY设置
中输入以下代码,详见章节:全局设置 — 使用手册 | DeepFOS Docs
from deepfos.options import OPTION
OPTION.api.dump_always = True
OPTION.general.log_level = 'DEBUG'
输入以上PY公共脚本后,所有节点在调试或运行后,在节点日志中都会打印对应的curl命令,例如:
回到顶部
咨询热线