DeepModel操作

节点配置

• 节点内按步骤依次配置，执行时会按顺序依次执行

• 【步骤0】固定为数据源，展示DeepModel内部数据源相关信息，支持启用数据库同一事务（启用后，本节点内的所有步骤为数据库同一事务，即使在各步骤内启用了分批）

• 目前支持自行添加的步骤分为普通操作和数据集操作

  • 普通操作不需要关联前序数据集，例如直接执行QL语句

  • 数据集操作则需要选择来源数据集，并配置和目标数据表的映射关系，通常对应批量数据的增改

• 步骤在添加后，支持命名、删除、排序

操作-新增

用于新增单条数据。

• 目标对象：选择需要操作的对象

• 赋值：支持 UI 模式和表达式模式，模式切换会清空二级配置

  • UI 模式：会自动添加目标数据表的主键字段，点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式。

  • 表达式模式：直接输入 Python 表达式，表达式的输出结果需要为字典类型，字典的键与属性编码相同，例如：{"arg1":Pipeline.params.key1, "arg2":"text"}

操作-更新

用于更新单条数据，配置类似操作-新增。

• 目标对象：选择需要操作的对象

• 过滤条件：配置需要更新的数据范围，条件编排器使用说明：DPL_专用编辑器

• 赋值：支持 UI 模式和表达式模式，模式切换会清空二级配置

  • UI 模式：点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式。

  • 表达式模式：直接输入 Python 表达式，表达式的输出结果需要为字典类型，字典的键与属性编码相同，例如：{"arg1":Pipeline.params.key1, "arg2":"text"}

操作-删除

用于删除数据。

• 目标对象：选择需要操作的对象

• 过滤条件：配置需要删除的数据范围，不开启则会删除全对象数据，请务必谨慎操作，条件编排器使用说明：DPL_专用编辑器

操作-DeepQL 语句

• DeepQL 语句：输入 DeepQL 语句

  • DeepQL语法：概述 — DeepQL查询语句 | DeepFOS Docs

  • 语句中可定义变量，与SQL定义变量的语法不同（SQL用双花括号{{}}），与在DeepModel控制台查询器相同

  • DeepQL的变量声明语法是<类型>$变量名：如 <str>$var，其中

    为声明类型，var 为变量名，变量 var 必填；如 <optional str>$var，optional 表示变量 var 非必填

• 参数：可选键值对或表达式形式

  • 键值对需要自行添加键值对，参数名与DeepQL语句中定义的变量名相同，赋值的类型支持PY表达式，例如直接输入Pipeline.parms以引用启动参数

  • 表达式形式需要输入py表达式，表达式的输出结果需要为字典类型，字典的键与DeepQL语句中定义的变量名相同，例如：{"arg1":Pipeline.params.key1, "arg2":"text"}

• 全局变量：自动获取在DeepModel控制台配置的自定义变量，支持对全局变量赋值PY表达式或不启用

• 举例

  • 
    
    
  • 
    
    

数据集操作-新增

用于批量新增数据，新增条数与输入的数据集条数相同。

• 目标对象：选择需要操作的对象

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

举例：

• 
  
  
• 
  
  
• 
  
  

数据集操作-提交

用于批量提交数据，提交条数与输入的数据集条数相同。

• 目标对象：选择需要操作的对象

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 主键匹配：

  • 选择目标表和来源表的关联字段，会自动选择主键字段，并匹配同名字段

  • 点击添加按钮可以批量选择目标数据表的主键字段

  • 目标表必须至少存在一个主键字段

• 匹配时更新：按主键能匹配上的来源数据，更新对象的哪些字段，需要更新为什么值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 不匹配时：按主键无法匹配的来源数据，可以选择

  • 新增，按更新时映射

  • 新增，自定义映射

  • 跳过，不提交

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

举例：

• 
  
  
• 
  
  
• 
  
  

链接逻辑说明

如果需要更新或新增对象的链接，则赋值链接对象的业务主键即可，例如'key1'，如果是多选链接，则赋值对应的业务主键值组成的列表即可，例如['key1','key2']。

调试

使用案例

案例元素：https://alpha.deepfos.com/element-deep-pipeline/3-0-0?elementName=deepmodel_operate&folderId=DIR1f57bbb34296&sign=YXBwSWQ9Y3pqbml3MDE5JnNwYWNlPWN6am5pdw%3D%3D