Spark SQL解析过程以及Antlr4入门

liuian 2024-12-05 14:27 46 浏览

Spark SQL解析过程

在Spark 2.0之后，Spark SQL使用Antlr 4来解析SQL表达式，其解析描述文件路径为spark源码根路径\sql\catalyst\src\main\antlr4\org\apache\spark\sql\catalyst\parser\SqlBase.g4，比如下面的sql语句是如何转化成RDD的。

select name from person where age > 18

SQL执行流程：

不管解析被划分为几步，在Spark 执行环境中，都要转化成RDD的调用代码，才能被spark core所执行

那么这里面有个关键的点，就是查询的SQL ，怎么转化成未解析的逻辑计划；未解析的逻辑计划这个阶段接收的是抽象的语法树，所以我们需要知道的就是，这个SQL语句是就是通过Antlr4转成抽象语法树的；

Antlr4入门

1、下载Antlr4

链接地址：https://www.antlr.org/download/index.html

2、把下载的包放在安装目录

3、编写bat脚本，内容如下antlr4.bat

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool %*

4、把安装目录添加到环境变量

5、构建maven项目，添加如下依赖

<dependency>
    <groupId>org.antlr</groupId>
    <artifactId>antlr4-runtime</artifactId>
    <version>4.5.3</version>
</dependency>

6、编写antlr文件，以g4结尾

grammar LearnAntlr ;         // grammer是规则文件的头，要和文件名一样
@header{                    //header代表生成的代码放在哪个包里面
package com.antlr4;
}
r  : 'hello' ID;           //r代表的是语法树的根结点
ID : [a-z]+ ;
WS : [ \t\r\n]+ -> skip ;  //ID代表未知的值

7、命令行进入antlr\src\main\java\com\antlr4>目录中，执行antlr4 LearnAntlr.g4，生成代码如下：

8、新建ListenerRewrite继承LearnAntlrBaseListener

public class ListenerRewrite extends LearnAntlrBaseListener {
    
    @Override
    public void exitR(LearnAntlrParser.RContext ctx) {
        final String a = ctx.getChild(0).getText().toLowerCase();
        final String b = ctx.getChild(1).getText().toLowerCase();
        System.out.println(a + " " + b);
    }
}

9、词法和语法解析

public class TestAntlr4 {

    public static void main(String[] args) {

        //todo 输入 hello world
        ANTLRInputStream inputStream = new ANTLRInputStream(" hello world");
        //todo 新建词法分析器
        LearnAntlrLexer lexer = new LearnAntlrLexer(inputStream);
        //todo 新建一个词法符号的缓冲区，用于存储词法分析器生成的词法符号
        CommonTokenStream tokenStream = new CommonTokenStream(lexer);
        //todo 新建一个语法分析器，处理词法符号缓冲区内容
        LearnAntlrParser parser = new LearnAntlrParser(tokenStream);
        //todo 针对规则，开始语法分析
        LearnAntlrParser.RContext context = parser.r();
        //todo 构建监听器
        ListenerRewrite listener = new ListenerRewrite();
        //todo 使用监听器初始化对语法分析树的遍历
        ParseTreeWalker.DEFAULT.walk(listener,context);
    }
}

10、运行代码，输出hello world

ant.jar