全部文档
文档中心数据流3.0节点组件服务DeepModel操作

DeepModel操作

选择DeepModel中的对象,提交【增删改】操作。

  • 节点内按步骤依次配置,执行时会按顺序依次执行

  • 【步骤0】固定为数据源,展示DeepModel内部数据源相关信息,支持启用数据库同一事务(启用后,本节点内的所有步骤为数据库同一事务,即使在各步骤内启用了分批)

  • 目前支持自行添加的步骤分为普通操作数据集操作

    • 普通操作不需要关联前序数据集,例如直接执行QL语句

    • 数据集操作则需要选择来源数据集,并配置和目标数据表的映射关系,通常对应批量数据的增改

  • 步骤在添加后,支持命名、删除、排序

  • 数据库同一事务:节点内全部步骤处于同一事务中。任一步骤失败时可整体回滚,但长事务会增加数据库资源占用。

  • 直连模式:用于提升【数据集新增】和【数据集提交】的大批量写入性能,与数据库同一事务互斥。启用后,各步骤和各批次为独立事务,可能出现部分批次成功、部分批次失败。

直连模式下,分批写入建议以页面提示的 10 万~50 万条作为起始范围,再根据字段宽度、数据库能力和压测结果调整;同时不会执行对象数据重写、触发器等 DeepModel 对象能力。需要这些能力或要求整批原子提交时,不应启用直连模式。

用于新增单条数据。

  • 目标对象:选择需要操作的对象

  • 赋值:支持 UI 模式和表达式模式,模式切换会清空二级配置

    • UI 模式:会自动添加目标数据表的主键字段,点击添加按钮可以批量选择目标数据表的字段,至少添加一个字段。支持的赋值类型有静态值PY表达式

    • 表达式模式:直接输入 Python 表达式,表达式的输出结果需要为字典类型,字典的键与属性编码相同,例如:{"arg1":Pipeline.params.key1, "arg2":"text"}

用于更新单条数据,配置类似操作-新增

  • 目标对象:选择需要操作的对象

  • 过滤条件:通过条件编排器按字段、比较符和值限定更新范围,提交前应确认业务对象和影响范围

  • 赋值:支持 UI 模式和表达式模式,模式切换会清空二级配置

    • UI 模式:点击添加按钮可以批量选择目标数据表的字段,至少添加一个字段。支持的赋值类型有静态值PY表达式

    • 表达式模式:直接输入 Python 表达式,表达式的输出结果需要为字典类型,字典的键与属性编码相同,例如:{"arg1":Pipeline.params.key1, "arg2":"text"}

用于删除数据。

  • 目标对象:选择需要操作的对象

  • 过滤条件:通过条件编排器按字段、比较符和值限定删除范围;不启用时会删除目标对象中的全部数据。执行前应先确认目标对象、过滤条件和预计影响行数

  • DeepQL 语句:输入 DeepQL 语句

    • DeepQL语法:概述 — DeepQL查询语句 | DeepFOS Docs

    • 语句中可定义变量,与SQL定义变量的语法不同(SQL用双花括号{{}}),与在DeepModel控制台查询器相同

    • DeepQL的变量声明语法是<类型>$变量名:如 <str>$var,其中 <str> 为声明类型,var 为变量名,变量 var 必填;如 <optional str>$var,optional 表示变量 var 非必填

  • 参数:可选键值对表达式形式

    • 键值对需要自行添加键值对,参数名与 DeepQL 语句中定义的变量名相同,赋值类型支持 PY表达式,例如输入 Pipeline.params 引用启动参数

    • 表达式形式需要输入py表达式,表达式的输出结果需要为字典类型,字典的键与DeepQL语句中定义的变量名相同,例如:{"arg1":Pipeline.params.key1, "arg2":"text"}

  • 全局变量:自动获取在DeepModel控制台配置的自定义变量,支持对全局变量赋值PY表达式或不启用

  • 举例



用于批量新增数据,新增条数与输入的数据集条数相同。

  • 目标对象:选择需要操作的对象

  • 来源数据集:选择前序的、输出结果为数据集的节点,该节点的输出数据集,将会作为新增数据的来源

  • 赋值:为目标表的字段赋值

    • 会自动匹配目标表与来源表的同名字段

    • 点击添加按钮可以批量选择目标数据表的字段,至少添加一个字段。支持的赋值类型有静态值PY表达式

      • 列:选择来源数据表的列字段

  • 分批:考虑到大数据量的情况,默认启用分批,可设置单批的最大数量,默认 5000 条

举例:





用于批量提交数据,提交条数与输入的数据集条数相同。

  • 目标对象:选择需要操作的对象

  • 来源数据集:选择前序的、输出结果为数据集的节点,该节点的输出数据集,将会作为新增数据的来源

  • 主键匹配:

    • 选择目标表和来源表的关联字段,会自动选择主键字段,并匹配同名字段

    • 点击添加按钮可以批量选择目标数据表的主键字段

    • 目标表必须至少存在一个主键字段

  • 匹配时更新:按主键能匹配上的来源数据,更新对象的哪些字段,需要更新为什么值

    • 会自动匹配目标表与来源表的同名字段

    • 点击添加按钮可以批量选择目标数据表的字段,至少添加一个字段。支持的赋值类型有静态值PY表达式

      • 列:选择来源数据表的列字段

  • 不匹配时:按主键无法匹配的来源数据,可以选择

    • 新增,按更新时映射

    • 新增,自定义映射

    • 跳过,不提交

  • 分批:考虑到大数据量的情况,默认启用分批,可设置单批的最大数量,默认 5000 条

举例:





如果需要更新或新增对象的链接,则赋值链接对象的业务主键即可,例如'key1',如果是多选链接,则赋值对应的业务主键值组成的列表即可,例如['key1','key2']

例如:预算Budget对象,链接到Version对象,需要新增两条预算数据,Budget1,对应Vesion1Budget2,对应Vesion2,给version链接赋值对应的业务主键值即可







例如:参照单选链接version,为对象Budget创建一个多选链接version_2,需要新增两条预算数据,Budget3,对应Vesion1和Vesion2Budget4,对应Vesion3和Vesion4,给多选链接version_2赋值对应的业务主键值组成的列表即可







DeepModel节点的表结构,与在DeepModel控制台中查询器可见的对象和属性相同:



结果中的数据QL标签页目前都记录了实际执行的QL语句。

回到顶部

咨询热线

400-821-9199