DeepModel操作

节点配置

• 节点内按步骤依次配置，执行时会按顺序依次执行

• 【步骤0】固定为数据源，展示DeepModel内部数据源相关信息，支持启用数据库同一事务（启用后，本节点内的所有步骤为数据库同一事务）

• 目前支持自行添加的步骤分为普通操作和数据集操作

  • 普通操作不需要关联前序数据集，例如直接执行QL语句

  • 数据集操作则需要选择来源数据集，并配置和目标数据表的映射关系，通常对应批量数据的增改

• 步骤在添加后，支持命名、删除、排序

操作-DeepQL 语句

• DeepQL 语句：输入 DeepQL 语句

  • DeepQL语法：概述 — DeepQL查询语句 | DeepFOS Docs

  • 语句中可定义变量，与SQL定义变量的语法不同（SQL用双花括号{{}}），与在DeepModel控制台查询器相同

  • DeepQL的变量声明语法是<类型>$变量名：如 <str>$var，其中

    为声明类型，var 为变量名，变量 var 必填；如 <optional str>$var，optional 表示变量 var 非必填

• 参数：可选键值对或表达式形式

  • 键值对需要自行添加键值对，参数名与DeepQL语句中定义的变量名相同，赋值的类型支持PY表达式，例如直接输入Pipeline.parms以引用启动参数

  • 表达式形式需要输入py表达式，表达式的输出结果需要为字典类型，字典的键与DeepQL语句中定义的变量名相同，例如：{"arg1":Pipeline.params.key1, "arg2":"text"}

• 全局变量：自动获取在DeepModel控制台配置的自定义变量，支持对全局变量赋值PY表达式或不启用

• 举例

  
  
  
  
  
  
  
  
  
  

数据集操作-新增

用于批量新增数据，新增条数与输入的数据集条数相同。

• 目标对象：选择需要操作的对象

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

举例：

数据集操作-更新

用于批量更新数据，更新条数与输入的数据集条数相同。

• 目标对象：选择需要操作的对象

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 主键匹配：

  • 选择目标表和来源表的关联字段，会自动选择主键字段，并匹配同名字段

  • 点击添加按钮可以批量选择目标数据表的主键字段

  • 目标表必须至少存在一个主键字段

• 不匹配则新增：

  • 用于实现 upsert 逻辑

  • 如果来源表中存在无法与目标表匹配的数据，则对其进行新增

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

举例：

链接

如果需要更新或新增对象的链接，则赋值链接对象的业务主键即可，例如'key1'，如果是多选链接，则赋值对应的业务主键值组成的列表即可，例如['key1','key2']。

调试

表结构

DeepModel节点的表结构，与在DeepModel控制台中查询器可见的对象和属性相同：

使用案例

案例元素：https://alpha.deepfos.com/element-deep-pipeline/3-0-0?elementName=deepmodel_operate&folderId=DIR1f57bbb34296&sign=YXBwSWQ9Y3pqbml3MDE5JnNwYWNlPWN6am5pdw%3D%3D