全部文档
文档中心数据流3.0最佳实践参数、数据集与节点选择

参数、数据集与节点选择

  • 启动参数:只传期间、组织、批次 ID、文件位置等轻量信息,不传大批量明细。

  • 节点数据集:同一流程内继续使用前序节点结果,并尽早过滤行和字段。

  • 中间存储:跨流程传递大批量明细、需要独立重试或保留快照时,先写入数据表、对象或文件,再传批次 ID。

大批量明细的两种推荐方案参见数据流之间传递大批量明细数据

  1. 查询、过滤、计算、连接和聚合,优先使用查询节点和【数据转换】节点。

  2. 能在源数据库完成的过滤和聚合,尽量在查询阶段完成。

  3. 关系运算可使用【SQL转换】;界面配置和 SQL 均难以实现时,再使用 Python。

  4. Python 不要把完整大数据集转成列表、字典或 Pandas 对象。

  5. 调用其他组件时,使用对应组件节点,并确认权限、事务和失败处理方式。

具体字段和配置参见节点手册

回到顶部

咨询热线

400-821-9199