数据源

• 连接器：

  • 可选择连接器元素，关于连接器组件的文档，参考：https://docs.deepfos.com/component/connect/overview

  • 目前仅支持部分关系型数据库型，如果选择了暂不支持的类型，会在选择后提示（若您选择的数据库类型暂不支持，请联系产品经理）

  • 选择后，会在调试-表结构出现该连接器的 schema，可查看数据库结构、快速复制表名、字段名

  • 选择连接器后，后续步骤可以选择的目标数据表，则为该连接器内的数据表

    
    
    
    
    

• 数据库同一事务：默认开启，启用后，本节点内的所有步骤为数据库同一事务。

操作-新增

用于新增单条数据。

• 目标数据表：选择需要操作的数据表

• 赋值：支持 UI 模式和表达式模式，模式切换会清空二级配置

  • UI 模式：会自动添加目标数据表的主键字段，点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式。

  • 表达式模式：直接输入 Python 表达式

• 举例：

  • 
    
    
    
    

  • 
    
    
    
    

  • 
    
    
    
    

操作-更新

用于更新单条数据，配置类似操作-新增。

• 目标数据表：选择需要操作的数据表

• 过滤条件：配置需要更新的数据范围，不开启则更新全表数据，条件编排器使用说明：DPL_专用编辑器

• 赋值：支持 UI 模式和表达式模式，模式切换会清空二级配置

  • UI 模式：点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式。

  • 表达式模式：直接输入 Python 表达式

• 举例：

  • 
    
    
    
    

  • 
    
    
    
    

  • 
    
    
    
    

操作-删除

用于删除数据。

• 目标数据表：选择需要操作的数据表

• 过滤条件：配置需要删除的数据范围，不开启则会删除全表数据，请务必谨慎操作，条件编排器使用说明：DPL_专用编辑器

• 举例：

  • 
    
    
    
    

  • 
    
    
    
    

操作-SQL 语句

直接执行输入的 SQL 语句。

举例：

数据集操作-新增

用于批量新增数据，新增条数与输入的数据集条数相同。

• 目标数据表：选择需要操作的数据表

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

• 举例：

  • 
    
    
    
    

  • 
    
    
    
    

  • 
    
    
    
    

数据集操作-更新

用于批量更新数据，更新条数与输入的数据集条数相同。

• 目标数据表：选择需要操作的数据表

• 来源数据表：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为更新数据的来源

• 主键匹配：

  • 选择目标表和来源表的关联字段，会自动选择主键字段，并匹配同名字段

  • 点击添加按钮可以批量选择目标数据表的主键字段

  • 目标表必须至少存在一个主键字段

• 不匹配则新增：

  • 用于实现 upsert 逻辑

  • 如果来源表中存在无法与目标表匹配的数据，则对其进行新增

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

• 举例：

  • 
    
    
    
    

  • 
    
    
    
    

  •