数据流产品支持实时调试各节点,调试所需的表结构、调试结果等信息都可视化展示在属性栏的底部,调试后自动展开以便查看。
调试的入口在每个节点的属性栏的右上方,提供两个调试按钮:仅调试本节点、从开始调试至本节点。
某些支持在节点内细分步骤的节点,例如数据转换,仅调试本节点表示从节点内第0步调试到当前选中的第N步,从开始调试至本节点表示从【开始】节点调试到本节点当前选中的第N步。
以下图为例,说明这三种调试会执行的节点范围:
|
当前节点 |
当前选中步骤 |
仅调试本节点 |
从开始调试至本节点 |
|---|---|---|---|
|
节点 2 |
- |
节点 2 |
开始 -> 节点 1 -> 节点 2 |
|
节点 3 |
- |
节点 3 |
开始 -> 节点 3 |
|
节点 4 |
步骤 2 |
节点 4 的步骤 1 -> 步骤 2 |
开始 -> 节点 1 -> 节点 2 |
调试相关结果会展示在调试栏,调试栏包含的内容如下。
调试栏位于节点配置属性栏的下方,可以横向展开收起、竖向展开收起、拖拽高度等,会展示调试的状态(成功或失败)和调试运行时长。
调试栏的横向标签页包括:采样对比、表结构、结果、日志。
采样对比:对账节点特有,详见章节:对账 — 数据集-转换 | DeepFOS Docs
表结构:需要配置数据源的节点特有,用于展示数据源的schema信息,schema决定了数据源字段的下拉可选范围,若schema有更新,需要到表结构中主动点击刷新按钮,以获取最新的schema,字段的可选下拉范围也会随之更新
结果:各节点通过结果标签页展示调试输出。展示内容会随节点类型变化,例如【PY代码】主要展示代码返回值,数据集节点还可能展示数据、统计分析和结果结构,具体内容见后续章节
日志:各节点通过日志标签页展示系统运行信息和用户主动输出的日志,便于定位配置或执行问题
某些节点会获取数据源的 schema 信息,例如连接器查询、数据表查询、DeepModel查询等节点。
选择数据源后,在调试栏的表结构会展示该数据源的 schema。
表结构会影响对应字段下拉的选择范围,若schema有更新,需要到表结构中主动点击刷新按钮,以获取最新的schema,字段的可选下拉范围也会随之更新。
调试栏的结果标签页,又进行了细分,每个不同类型的节点,结果标签页中展示的明细有所不同。
大多数节点都有数据页,该页用于展示调试的数据结果。
数据集类型的节点,展示为表格样式:
双击标题右侧的表格竖分割线,可以根据表格内容自动调整列宽,可以多选N列的单元格,双击会自动调整所选多列的列宽
预览:支持预览至多1万条数据,支持下载所见的预览数据(预览多少条就下载多少条,所见即所得,如需下载完整数据,请使用导出节点,详见章节:导出 — 流程控制 | DeepFOS Docs)
非数据集结果的样式与数据类型有关:
某些节点利用 DuckDB 实现,会提供配置项转换后实际执行的 SQL 语句,以便排查问题。
某些节点利用 PRQL 实现步骤转换 SQL,会提供配置项转换后的 PRQL 语句,以便排查问题。
输出结果为数据集的节点,可对调试结果进行统计分析。
统计范围为调试得到的完整结果,包括因预览数量限制而未展示的数据。
关于占比数量的特殊说明:
大于 99% 且小于 100% 的数值,会显示> 99%
小于 1%且大于 0%的数值,会显示< 1%
展示此节点调试后的数据结构:
条件分支节点特有的结果,用于展示哪条分支成立(该节点的data变量中实际存储的值是成立分支的后续节点的节点id,非节点名称)。
记录该节点的调试日志。除系统预置日志内容外,用户有两种常见方式,来输出自定义的日志内容。
1、用户在PY代码和PY转换节点,可以通过print来进行打印,打印的内容会输出在日志中,例如:
2、定位组件调用或接口请求问题时,可以临时将 cURL 输出到日志。用户可以在全局设置-PY设置中输入以下代码,详见章节:全局设置 — 使用手册 | DeepFOS Docs
from deepfos.options import OPTION
OPTION.api.dump_always = True
OPTION.general.log_level = 'DEBUG'
输入以上 PY 公共脚本后,相关调用会在节点日志中打印 cURL,例如:
日志可能包含认证信息、请求参数或业务数据。仅在授权排查期间开启,分享前完成脱敏,问题解决后及时关闭。
回到顶部
咨询热线
