全部文档
文档中心数据流3.0使用手册调试

调试

数据流产品支持实时调试各节点,调试所需的表结构、调试结果等信息都可视化展示在属性栏的底部,调试后自动展开以便查看。

调试的入口在每个节点的属性栏的右上方,提供两个调试按钮:仅调试本节点从开始调试至本节点

某些支持在节点内细分步骤的节点,例如数据转换仅调试本节点表示

从节点内第0步调试到当前选中的第N步
从开始调试至本节点
示从【开始】节点调试到本节点当前选中的第N步

以下图为例,说明这三种调试会执行的节点范围:



当前节点

当前选中步骤

仅调试本节点

从开始调试至本节点

节点 2

-

节点 2

开始 -> 节点 1 -> 节点 2

节点 3

-

节点 3

开始 -> 节点 3

节点 4

步骤 2

节点 4 的步骤 1 -> 步骤 2

开始 -> 节点 1 -> 节点 2


(开始)-> 节点 3

(开始)-> 节点 4 的步骤 1 -> 步骤 2

调试相关结果会展示在调试栏,调试栏包含的内容如下。

调试栏位于节点配置属性栏的下方,可以横向展开收起、竖向展开收起、拖拽高度等,会展示调试的状态(成功或失败)和调试运行时长。



调试栏的横向标签页包括:采样对比、表结构、结果、日志。

  • 采样对比:对账节点特有,详见章节:对账 — 数据集-转换 | DeepFOS Docs

  • 表结构:需要配置数据源的节点特有,用于展示数据源的schema信息,schema决定了数据源字段的下拉可选范围,若schema有更新,需要到表结构中主动点击刷新按钮,以获取最新的schema,字段的可选下拉范围也会随之更新

  • 结果:所有的节点都一定会有结果标签页,该标签页用于展示调试的结果信息。由于调试结果的内容可能简单也可能复杂,这根据节点类型不同有所区分(比如PY代码节点就一个数据结果,但数据集类型的节点,还会根据调试结果进行统计分析、展示结果的数据结构等),所以我们对结果标签页又进行了细分,每个不同类型的节点,结果标签页中展示的明细有所不同,详见后续章节

  • 日志:所有的节点都一定会有日志标签页,用于记录预置日志内容和用户主动输出的日志内容,有利于管理员排查问题

某些节点会获取数据源的 schema 信息,例如连接器查询数据表查询DeepModel查询等节点。

选择数据源后,在调试栏的表结构会展示该数据源的 schema。

表结构会影响对应字段下拉的选择范围,若schema有更新,需要到表结构中主动点击刷新按钮,以获取最新的schema,字段的可选下拉范围也会随之更新。



调试栏的结果标签页,又进行了细分,每个不同类型的节点,结果标签页中展示的明细有所不同。

大多数节点都有数据页,该页用于展示调试的数据结果。

数据集类型的节点,展示为表格样式:

  • 双击标题右侧的表格竖分割线,可以根据表格内容自动调整列宽,可以多选N列的单元格,双击会自动调整所选多列的列宽

  • 预览:支持预览至多1万条数据,支持下载所见的预览数据(预览多少条就下载多少条,所见即所得,如需下载完整数据,请使用导出节点,详见章节:导出 — 标准 | DeepFOS Docs



非数据集结果的样式与数据类型有关:



某些节点利用 DuckDB 实现,会提供配置项转换后实际执行的 SQL 语句,以便排查问题。



某些节点利用 PRQL 实现步骤转换 SQL,会提供配置项转换后的 PRQL 语句,以便排查问题。



输出结果为数据集的节点,可对调试结果进行统计分析。

统计范围为调试得到的完整结果,包括因预览数量限制而未展示的数据。

关于占比数量的特殊说明:

  • 大于 99% 且小于 100% 的数值,会显示> 99%

  • 小于 1%且大于 0%的数值,会显示< 1%



展示此节点调试后的数据结构:



条件分支节点特有的结果,用于展示哪条分支成立(该节点的data变量中实际存储的值是成立分支的后续节点的节点id,非节点名称)。

记录该节点的调试日志。除系统预置日志内容外,用户有两种常见方式,来输出自定义的日志内容。

1、用户在PY代码PY转换节点,可以通过print来进行打印,打印的内容会输出在日志中,例如:



2、除此之外,当数据流中编排了大量调用其他先胜云组件的节点,推荐将curl输出在日志中,以便排查问题。用户可以在全局设置-PY设置中输入以下代码,详见章节:全局设置 — 使用手册 | DeepFOS Docs

Copy
from deepfos.options import OPTION

OPTION.api.dump_always = True
OPTION.general.log_level = 'DEBUG'

输入以上PY公共脚本后,所有节点在调试或运行后,在节点日志中都会打印对应的curl命令,例如:



回到顶部

咨询热线

400-821-9199

我们使用 ChatGPT,基于文档中心的内容以及对话上下文回答您的问题。

ctrl+Enter to send