全部文档
文档中心数据流3.0使用手册调试

调试

数据流产品支持实时调试各节点,调试所需的表结构、调试结果等信息都可视化展示在属性栏的底部,调试后自动展开以便查看。

调试的入口在每个节点的属性栏的右上方,提供两个调试按钮:仅调试本节点从开始调试至本节点

某些支持在节点内细分步骤的节点,例如数据转换仅调试本节点表示从节点内第0步调试到当前选中的第N步从开始调试至本节点示从【开始】节点调试到本节点当前选中的第N步

以下图为例,说明这三种调试会执行的节点范围:

当前节点

当前选中步骤

仅调试本节点

从开始调试至本节点

节点 2

-

节点 2

开始 -> 节点 1 -> 节点 2

节点 3

-

节点 3

开始 -> 节点 3

节点 4

步骤 2

节点 4 的步骤 1 -> 步骤 2

开始 -> 节点 1 -> 节点 2
(开始)-> 节点 3
(开始)-> 节点 4 的步骤 1 -> 步骤 2

调试相关结果会展示在调试栏,调试栏包含的内容如下。

调试栏位于节点配置属性栏的下方,可以横向展开收起、竖向展开收起、拖拽高度等,会展示调试的状态(成功或失败)和调试运行时长。

调试栏的横向标签页包括:采样对比、表结构、结果、日志。

  • 采样对比:对账节点特有,详见章节:对账 — 数据集-转换 | DeepFOS Docs

  • 表结构:需要配置数据源的节点特有,用于展示数据源的schema信息,schema决定了数据源字段的下拉可选范围,若schema有更新,需要到表结构中主动点击刷新按钮,以获取最新的schema,字段的可选下拉范围也会随之更新

  • 结果:各节点通过结果标签页展示调试输出。展示内容会随节点类型变化,例如【PY代码】主要展示代码返回值,数据集节点还可能展示数据、统计分析和结果结构,具体内容见后续章节

  • 日志:各节点通过日志标签页展示系统运行信息和用户主动输出的日志,便于定位配置或执行问题

某些节点会获取数据源的 schema 信息,例如连接器查询数据表查询DeepModel查询等节点。

选择数据源后,在调试栏的表结构会展示该数据源的 schema。

表结构会影响对应字段下拉的选择范围,若schema有更新,需要到表结构中主动点击刷新按钮,以获取最新的schema,字段的可选下拉范围也会随之更新。

调试栏的结果标签页,又进行了细分,每个不同类型的节点,结果标签页中展示的明细有所不同。

大多数节点都有数据页,该页用于展示调试的数据结果。

数据集类型的节点,展示为表格样式:

  • 双击标题右侧的表格竖分割线,可以根据表格内容自动调整列宽,可以多选N列的单元格,双击会自动调整所选多列的列宽

  • 预览:支持预览至多1万条数据,支持下载所见的预览数据(预览多少条就下载多少条,所见即所得,如需下载完整数据,请使用导出节点,详见章节:导出 — 流程控制 | DeepFOS Docs

非数据集结果的样式与数据类型有关:

某些节点利用 DuckDB 实现,会提供配置项转换后实际执行的 SQL 语句,以便排查问题。

某些节点利用 PRQL 实现步骤转换 SQL,会提供配置项转换后的 PRQL 语句,以便排查问题。

输出结果为数据集的节点,可对调试结果进行统计分析。

统计范围为调试得到的完整结果,包括因预览数量限制而未展示的数据。

关于占比数量的特殊说明:

  • 大于 99% 且小于 100% 的数值,会显示> 99%

  • 小于 1%且大于 0%的数值,会显示< 1%

展示此节点调试后的数据结构:

条件分支节点特有的结果,用于展示哪条分支成立(该节点的data变量中实际存储的值是成立分支的后续节点的节点id,非节点名称)。

记录该节点的调试日志。除系统预置日志内容外,用户有两种常见方式,来输出自定义的日志内容。

1、用户在PY代码PY转换节点,可以通过print来进行打印,打印的内容会输出在日志中,例如:

2、定位组件调用或接口请求问题时,可以临时将 cURL 输出到日志。用户可以在全局设置-PY设置中输入以下代码,详见章节:全局设置 — 使用手册 | DeepFOS Docs

Copy
from deepfos.options import OPTION

OPTION.api.dump_always = True
OPTION.general.log_level = 'DEBUG'

输入以上 PY 公共脚本后,相关调用会在节点日志中打印 cURL,例如:

日志可能包含认证信息、请求参数或业务数据。仅在授权排查期间开启,分享前完成脱敏,问题解决后及时关闭。

回到顶部

咨询热线

400-821-9199