数据表操作

节点配置

• 节点内按步骤依次配置，执行时会按顺序依次执行

• 【步骤0】固定为数据源，必须配置，后续步骤需要自行添加，至少存在一个自行添加的步骤

• 目前支持自行添加的步骤分为普通操作和数据集操作

  • 普通操作通常对应单条数据的增改、按条件删除、直接执行SQL语句

  • 数据集操作则需要选择来源数据集，并配置和目标数据表的映射关系，通常对应批量数据的增改

• 步骤在添加后，支持命名、删除、排序

数据源

• 数据表类型：

  • 选择需要操作的数据库，对应当前空间的内置业务数据源。支持范围以页面可选类型及提示为准；如需接入其他数据库类型，请通过项目支持渠道确认兼容方案

  • 选择类型后，后续步骤可以选择的目标数据表，则被限制为属于该类型的。例如选择了MySQL数据库，则后续步骤只能选择数据表-MySQL元素

• 数据库同一事务：默认开启，启用后，本节点内的所有步骤为数据库同一事务。

操作-新增

用于新增单条数据。

• 目标数据表：选择符合数据源类型的数据表元素

• 赋值：支持 UI 模式和表达式模式，模式切换会清空二级配置

  • UI 模式：会自动添加目标数据表的主键字段，点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式。

  • 表达式模式：直接输入 Python 表达式

举例：

操作-更新

用于更新单条数据，配置类似操作-新增。

• 目标数据表：选择符合数据源类型的数据表元素

• 过滤条件：通过条件编排器按字段、比较符和值限定更新范围；不启用时会更新全表数据，提交前应确认影响范围

• 赋值：支持 UI 模式和表达式模式，模式切换会清空二级配置

  • UI 模式：点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式。

  • 表达式模式：直接输入 Python 表达式

举例：

操作-删除

用于删除数据。

• 目标数据表：选择符合数据源类型的数据表元素

• 过滤条件：通过条件编排器按字段、比较符和值限定删除范围；不启用时会删除全表数据。执行前应先确认目标数据表、过滤条件和预计影响行数

举例：

操作-SQL 语句

直接执行输入的 SQL 语句。

举例：

数据集操作-新增

用于批量新增数据，新增条数与输入的数据集条数相同。

• 目标数据表：选择符合数据源类型的数据表元素

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

举例：

数据集操作-更新

用于批量更新数据，更新条数与输入的数据集条数相同。

• 目标数据表：选择符合数据源类型的数据表元素

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 主键匹配：

  • 选择目标表和来源表的关联字段，会自动选择主键字段，并匹配同名字段

  • 点击添加按钮可以批量选择目标数据表的主键字段

  • 目标表必须至少存在一个主键字段

• 不匹配则新增：

  • 用于实现 upsert 逻辑

  • 如果来源表中存在无法与目标表匹配的数据，则对其进行新增

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

举例：

使用案例

案例元素：https://alpha.deepfos.com/element-deep-pipeline/3-0-0/?elementName=datatable_operate&folderId=DIR1f57bbb34296&moduleId=DPL3_0&sign=YXBwSWQ9Y3pqbml3MDE5JnNwYWNlPWN6am5pdw%3D%3D