磁盘占用优化与清理

磁盘占用高时，建议先通过页面设置减少新增数据，再根据实际占用来源清理历史数据。不要直接认定是日志表过大，也不要在未确认范围时删除底层文件或数据库记录。

优先通过页面设置降低新增占用

调整流程日志

配置入口：全局设置 → 运行设置 → 流程日志。

详细：同步执行时记录各节点详细日志，便于排查，但会增加运行时间和存储占用。
极简：同步执行时不记录节点详细日志，适合运行频率高、只关注最终结果的流程。

【极简】只对同步执行生效。定时任务等异步执行仍会记录详细日志，因此异步流程还需要通过降低触发频率、避免实例重叠、限制重试和清理历史实例控制日志增长。

配置数据文件自动清理

配置入口：全局设置 → 运行设置 → 数据文件自动清理。

数据文件包括节点结果、转换步骤输出和数据流 db 文件等运行中间数据。当前系统预置策略会自动清理：

7 天以前运行成功实例的数据文件；
30 天以前运行失败及终止实例的数据文件。

自定义策略不是按天数配置，而是保留最近 X 条成功实例的数据文件。超出数量的成功实例文件会被清理，但所有失败和终止实例文件都会保留。

选择策略时建议：

运行稳定、成功实例很多，希望只保留少量近期结果时，可以自定义较小的成功实例保留条数。
失败和终止实例较多时，使用自定义策略可能导致这些文件长期不清理；应优先修复失败原因，并使用系统预置策略或定期删除超过保留期的实例。
保留周期或条数应满足审计、追溯和问题排查要求，不能只按磁盘空间决定。

自动清理不会处理【队列中】和【进行中】实例的数据文件，也不会清理导出节点等功能生成的附件。具体配置项和清理范围参见数据文件自动清理。

设置超时、重试和定时计划

在全局设置 → 运行设置 → 实例超时时间中设置合理超时，避免异常实例长期保留运行文件并持续写日志。
在节点 → 高级配置 → 异常处理中限制节点重试次数和间隔；调用方存在重试机制时也应设置上限，避免同一错误反复生成实例和日志。
在启动 → 定时中检查定时配置，并停用不再使用的计划，避免无人关注的流程长期产生运行记录。
定时间隔应大于流程较慢情况下的运行时间，避免重叠实例持续增加。参见并发、队列与内存优化。

减少不必要的数据和文件

查询时尽早过滤行、裁剪字段和聚合，减少每个节点落盘的中间数据量。
避免在多个节点中反复保留相同的大数据集；不需要并行的转换可按顺序执行。
调试完成后移除临时 DEBUG、cURL 和详细服务日志配置，并为运行环境日志配置轮转和保留周期。
不需要长期下载结果时，不要为每次运行都生成导出附件。
大明细导出优先使用 CSV，避免生成单个超大 XLSX；需要长期保存的业务文件可转存到项目认可的文件或对象存储，并按业务规则管理生命周期。
导出附件不会被数据文件自动清理。包含大量历史导出附件的项目，应结合审计要求删除过期实例，或单独制定附件归档和清理方案。

先判断磁盘被什么占用

常见来源包括：

event_logs、runs 等运行存储表持续增长；
节点结果、数据流 db 文件等中间数据未及时清理；
导出附件长期保留；
失败、终止或长期未完成的实例持续产生文件和日志；
应用日志、容器日志未设置轮转；
数据库 WAL、临时文件、备份或其他运行环境目录占用空间。

建议分别查看磁盘中增长最快的目录、数据库中体积最大的表，以及最近一段时间的增长速度。数据库和运行文件可能位于不同磁盘，不能只看单个目录的总占用率。

清理日志表

event_logs 保存流程实例日志。高频运行、节点较多或长期保留详细日志时，该表会快速增长。

清理前应由数据库管理员确认备份和审计保留周期，优先处理保留期外的成功实例日志，失败和终止实例的日志可保留更长时间。先使用相同条件的 SELECT 统计影响范围；数据量较大时按日期或实例范围分批执行，避免单次删除形成长事务和大量 WAL。

以下为 PostgreSQL 示例，用于统计 7 天以前、状态为 SUCCESS 的实例日志：

Copy

SELECT COUNT(*)
FROM deep_pipeline.event_logs AS el
JOIN deep_pipeline.runs AS r ON el.run_id = r.run_id
WHERE r.status = 'SUCCESS'
  AND r.create_timestamp < NOW() - INTERVAL '7 days';

确认范围和备份后，再执行：

Copy

DELETE FROM deep_pipeline.event_logs AS el
USING deep_pipeline.runs AS r
WHERE el.run_id = r.run_id
  AND r.status = 'SUCCESS'
  AND r.create_timestamp < NOW() - INTERVAL '7 days';