SQL开发节点

SQL是基于计算存储的任务(当前支持MaxCompute),采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。

因为每个作业从前期准备到提交等阶段都需要花费较长时间,因此如果要求处理几千至数万笔事务的业务,可以使用SQL顺利完成,是主要面向吞吐量的OLAP应用。

1.进入数据开发页面,选择新建-数据开发-开发节点,编辑节点名称、描述和所属业务流程。也可以通过找到目标业务流程,在编辑界面选择SQL节点。

sql开发节点1

2.编辑节点代码

编写符合语法的SQL代码,SQL语法请参见SQL语法

示例:创建一张表并向表中插入数据,查询结果

(1) 创建一张表

''' DROP TABLE if EXISTS dm_customer_detail; CREATE TABLE IF NOT EXISTS dm_customer_detail( id BIGINT COMMENT '客户id' , name STRING COMMENT '姓名' , mobile BIGINT COMMENT '手机号' , occupation STRING COMMENT '职业' );

'''

(2) 从采集节点生成的ods表中选择

''' INSERT OVERWRITE TABLE dm_customer_detail PARTITION (dt='${bdp.system.bizdate}') SELECT id, name,mobile,occupation FROM ods_crm_yksaas_s_customer

'''

(3) 查询表数据

''' SELECT * FROM dm_customer_detail '''

(4) SQL语句编辑完成后,单击顶部的运行,系统会按照从上往下的顺序执行SQL语句,并打印日志。

sql开发节点2

如果只希望运行sql代码中的片段,可以鼠标选择后点击“运行”,只会运行当前选中代码。

(5) 执行无误后,单击左上角的保存,即可保存当前SQL代码。

(6)提交节点任务到正式生产。可以在SQL节点顶部工具栏单击发布,验证通过后即生成生产流程。可以在运维中心生产流程中查看运行情况,或者手动执行运行操作。

节点每发布一次会自动升级版本号,后续可以通过版本号查看对应版本的SQL代码。

results matching ""

    No results matching ""