全部文档
文档中心数据流功能数据控件&节点读取系列控件

读取系列控件

读取控件是将数据源中的数据读取并加载至流管道内的能力控件,如【MySQL读取】可以将指定的MySQL数据库中的数据取出并作为批次数据转给其后续的节点。

读取系列控件随着数据源种类的不同而不同,大体上可以分为4类:

读取数据库的控件指的是通过数据库连接访问数据库系统读取数据的能力控件。

读取数据表的控件指的是通过读取当前应用的数据表元素来获得数据的能力控件。 ~~读取数据文件的控件~~ ~~读取数据文件的控件指的是~~~~通过读取已上传的数据文件并将其加载至流管道~~~~的能力控件。~~

其他读取控件指的是除了通过上述方式获取数据的控件以外的能力控件。 【目前,该类控件仅有【EssBase读取】控件,他是通过连接外部系统,并通过请求让对方系统执行数据脚本来获取数据的。】

大部分读取控件的数据能力和配置方式都基本一样,极个别有差异的控件会单独说明和讲解。

读取系列的核心逻辑就是SQL语句中的SELECT查询,所有配置项都是为了组装成一个完整的SQL查询语句,系统在保存节点配置时,会将语句拼接起来,作为一个完整的查询语句存储在后端。 而系统在执行读取节点时,就会把保存的查询语句取出并在指定的数据库中执行,获取对应的查询结果数据。

  • 不同的数据库有不同的查询语法,读取节点仅负责语句拼接,不负责做语言适配和转译;

  • 具体的查询动作由数据库去真正执行,数据流本身只做请求和调用工作,如果本身数据库被锁或无法查询,则数据流会在执行中报错。

在执行读取控件时,系统会根据查询语句将指定数据库中的数据拿到,并以标准格式(AVRO)存储在流文件中,以供后续其他节点进行调用。

读取系列控件的基础配置、流程配置和正常控件的配置内容相同,详见《数据控件&节点·节点属性配置》。

以【MySQL读取】节点为例,查询配置是用来配置【MySQL读取】节点数据查询语句的功能配置项,有两种可配置的模式,分别是”配置”和”自定义”。

读取系列控件默认打开为”配置”模式,表示以可视化的配置页面来配置查询的数据内容。 “配置”模式下,共有5个配置项:数据源、数据表名称、读取字段、查询条件、排序字段。

数据源是用来选择当前【MySQL读取】节点所读取数据归属的数据源的配置项。 该配置项是一个必填的单项下拉框组件,点击字段空白处即可展开下拉选项,其中所有的下拉选项,均显示为已配置数据源的名称,显示顺序与数据源展示区域的数据源显示区域保持一致。

数据表名称是用来配置当前【MySQL读取】节点所要查询的数据表的配置项。 该配置项是一个必填的单行文本组件,点击字段空白处即可开始编辑。组件进入编辑状态后,会根据已选的[数据源]在下拉菜单中罗列可选的数据表名称。

读取字段是用来配置当前【MySQL读取】节点所要查询数据的具体列的配置项。 该配置项是一个非必填的多项选择组件,点击字段空白处即可展开选项列表,具体列表内容为[数据表名称]配置项所对应的表内字段名。

查询条件是用来配置当前【MySQL读取】节点所要查询数据的筛选条件,用于定位具体要获取数据的行。 该配置项是一个二级页面,页面是以类似横向树形结构的形式展现在属性栏的二级页面中的,点击”编辑”按钮即可打开二级页面。 页面由不定数量的逻辑语句与逻辑连接符组成。

逻辑连接符是用以连接不同逻辑语句或逻辑组的连接符号,有”且”、”或”两种样式,代表标准的与(AND)、或(OR)逻辑。 逻辑连接符默认显示为”且”,点击即可切换为”或”,重复点击即循环切换。

逻辑语句是组成判断逻辑的基础内容,由输入值、判定条件、判定值、操作栏组成。

排序字段是用来配置当前【MySQL读取】节点所查询数据结果的排序条件的配置项。 该配置项是一个表格组件,由单行文本输入组件和Switch开关组件组成。 用户可以在单行文本输入组件中定义排序的字段,然后在Switch开关组件中配置正序或倒序排列,允许多字段配置,通过最右侧的删除按钮控制行配置信息。

在一些指定的数据库读取控件中,会有一个新增的配置项[模式],即数据库的Schema。

读取系列控件默认打开为”配置”模式,用户可以手动修改为”自定义”模式,但用户修改时,系统会清空原有模式下的所有配置项。

数据源是用来选择当前【MySQL读取】节点所读取数据归属的数据源的配置项。 该配置项是一个必填的单项下拉框组件,点击字段空白处即可展开下拉选项,其中所有的下拉选项,均显示为已配置数据源的名称,显示顺序与数据源展示区域的数据源显示区域保持一致。

SELECT是用来配置当前【MySQL读取】节点所要查询数据的具体字段的配置项。 该配置项是一个必填的多行文本组件,点击字段空白处即可开始编写,无其他限制。

FROM是用来配置当前【MySQL读取】节点所要查询的数据表的配置项。 该配置项是一个必填的多行文本组件,点击字段空白处即可开始编写,无其他限制。

WHERE是用来配置当前【MySQL读取】节点所要查询数据的筛选条件的配置项。 该配置项是一个非必填的多行文本组件,点击字段空白处即可开始编写,无其他限制。

GROUP BY是用来配置当前【MySQL读取】节点所要查询数据的分组条件的配置项,一般搭配SELECT中的一些聚合字段来使用。 该配置项是一个非必填的多行文本组件,点击字段空白处即可开始编写,无其他限制。

ORDER BY是用来配置当前【MySQL读取】节点所查询数据结果的排序条件的配置项。 该配置项是一个非必填的多行文本组件,点击字段空白处即可开始编写,无其他限制。

回到顶部

咨询热线

400-821-9199

我们使用 ChatGPT,基于文档中心的内容以及对话上下文回答您的问题。

ctrl+Enter to send