采集节点

采集方式分为全量和增量采集。

全量采集

每次采集数据写入前,会清除已有数据。

全量采集配置项为 分区(默认为系统参数bizdate )、选择字段(默认全选)。

全量的执行方式包括全量仅采集一次按调度周期全量采集

  • 全量仅采集一次:在自动调度流程中,当采集节点配置为全量仅采集一次则不自动执行采集;在手动点击运行和提交发布时,要执行一次全量采集;
  • 按调度周期全量采集:根据流程调度的周期,每次自动执行。

增量采集

每次采集数据写入前,保留已有的数据,同步完成后会根据唯一主键自动合并。

增量采集配置项为时间戳字段分区(默认为系统参数bizdate )、写入规则默认为“写入后自动去重合并”(勾选后需要配置 唯一主键字段)、选择字段

数据采集1

采集变更的规则

  • 第一次采集选择 a,b 字段, 再次编辑 选择了 a,b,c 三个字段或者 a,b字段类型变化了 , 需要清空oss存储数据和删除maxcompute表,重新建表采集。
  • 增量切换全量,需要删除_i表,清空oss表名下面所有数据,重新创建maxcompute全量表。 全量切换增量,需要删除 maxcompute全量表 ,清空oss表名下面所有数据。

results matching ""

    No results matching ""