关于先胜云数据流

产品简介

数据流作为先胜云平台的数据集成工具，可用于对接各类数据来源，通过提供丰富的控件支持多渠道的数据读写操作，并以可视化配置的方式定义数据流转规则，实现对异构数据的读写与清洗。 如果您之前有接触过数据仓库相关的内容，可以把数据流理解为ETL工具。

ETL ，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程。

功能特性

丰富的数据源类型：数据流本身已提供MySQL、PostgreSQL、Oracle、ClickHouse等主流数据库的连接方式，也支持用户上传自定义的JDBC来连接其他的数据库； 可视化操作配置：数据流所有的数据处理规则都被封装在对应的控件之中，通过前台页面的拖拽、连线即可完成相关的业务配置； 自动化运行：数据流支持通过自定义的时间规则来周期性地执行数据流任务 ，完成任务的自动化执行；

应用场景

数据集成过程中的数据迁移

• 数据流支持将数据从外部数据库迁移到到先胜云数据表

• 数据流支持将数据从不同的数据表元素中进行迁移

• 数据流支持通过HTTP请求获取接口数据并写入到某个数据表中

数据集成过程中的数据计算

• 数据流支持自定义SQL对外部数据库中的数据进行聚合计算

• 数据流支持自定义SQL对同一数据库下的多表进行合并联接

• 数据流支持调用Python元素完成脚本计算

周期性的计算任务

• 数据流支持通过自定义的时间规则配置完成定时或周期性的计算任务

• 数据流支持通过参数和周期任务来实现定期的增量数据同步

……