atitit.java解析sql语言解析器解释器的实现，atitit.javasql
atitit.java解析sql语言解析器解释器的实现
1. 解析sql的本质:实现一个4gl dsl编程语言的编译器 1
2. 解析sql的主要的流程,词法分析，而后进行语法分析，语义分析,构建sql的AST 1
3. 词法分析器 2
4. 语法分析器--ANTLR 2
5. Eclipse插件,,ANTLR Studio 3
6. 一个基于javacc实现的解析器JSqlParser0.7(yr2011)， 3
7. 例子代码-----解析sql表格列的名称and类型 3
8. }Sql的历史 4
9. 解析select语句 4
10. zql，JSqlParser，General sql parser. 5
11. ANTLR实现的SQL解析器 - OQL 5
12. Javacc/AST简单的介绍 5
13. SQLJEP http://sqljep.sourceforge.net/ 5
14. Sql生成SqlBuilder ,Querydsl ,hb 6
15. 俄的总结: 还凑火JSqlParser0.7走行兰. 6
16. 参考 6
1. 解析sql的本质:实现一个4gl dsl编程语言的编译器
Sql走十一个4gl dsl,..SQL解析器基本上走十一个编译器实现
2. 解析sql的主要的流程,词法分析，而后进行语法分析，语义分析,构建sql的AST
首先要进行词法分析，而后进行语法分析，语义分析
词法分析,and 语法分析>>>.
词法分析即将输入的语句进行分词(token)，解析出每个token的意义。分词的本质便是正则表达式的匹配过程，比较流行的分词工具应该是lex，通 过简单的规则制定，来实现分词。Lex一般和yacc结合使用。关于lex和yacc的基础知识请参考Yacc 与Lex 快速入门- IBM。如果想深入学习的话，可以看下《LEX与YACC》。
然而Mysql并没有使用lex来实现词法分析，但是语法分析却用了yacc，而yacc需要词法分析函数yylex，
不过ANTLR更多简化...
作者:: 老哇的爪子 Attilax 艾龙， EMAIL:1466519819@qq.com
转载请注明来源： http://blog.csdn.net/attilax
3. 词法分析器
MySQL的词法分析器是手工打造的。
语法分析器的入口函数是MYSQLparse，词法分析器的入口函数是MYSQLlex。
2. 词法分析中会检查token是否为关键字。
最直接的做法是弄个大的关键字数组，进行折半查找
1.1 词法分析器（Lexer）
词法分析器又称为 Scanner，Lexical analyser和Tokenizer。程序设计语言通常由关键字和严格定义的语法结构组成。编译的最终目的是将程序设计语言的高层指令翻译成物力机器或 虚拟机可以执行的指令。此法分析器的工作是分析量化那些本来毫无意义的字符流，将他们翻译成离散的字符组（也就是一个一个的Token）括关键字，标识 符，符号（symbols）和操作符供语法分析器使用。
，Lexer不关心所生成的单个Token的语法意义及其与上下文之间的关系
ANTLR将上述两者结合起来，它允许我们定义识别字符流的词法规则和用于解释Token流的词法分析规则。然后，ANTLR将根据用户提供的语法文件自 动生成相应的词法/语法分析器。
4. 语法分析器--ANTLR
也因为不想和以下推自动机为原理的YACC/LEX生成的一大堆整数表打交道，我选择了另一个开源的LL（K）语法/词法分析器—ANTLR。
之前YACC/LEX显得过于学院派，而以LL（k）为基础的ANTLR虽然在效率上还略有不足
Lexer不关心所生成的单个Token的语法意义及其与上下文之间的关系，而这就是Parser的工作。语法分析器将收到的Tokens组织起来，并转换成为目标语言语法定义所允许的序列。
无论是Lexer还是Parser都是一种识别器，Lexer是字符序列识别器而Parser是Token序列识别器。他们在本质上是类似的东西，而只是在分工上有所不同而已。
ANTLR将上述两者结合起来，它允许我们定义识别字符流的词法规则和用于解释Token流的词法分析规则。然后，ANTLR将根据用户提供的语法文件自 动生成相应的词法/语法分析器。用户可以利用他们将输入的文本进行编译，并转换成其他形式（如AST—Abstract Syntax Tree，抽象的语法树）。构建sql的AST
5. Eclipse插件,,ANTLR Studio
为了更好的使用ANTLR，你还可以下载ANTLR的Eclipse插件来帮助你完成工作。ANTLR Studio
6. 一个基于javacc实现的解析器JSqlParser0.7(yr2011)，
它可以把SQL语句转换为Java对象，由于JsqlParser是使用JavaCC做语法分析的，而本身JavaCC就支持JJTree...如是就写了个小工具SQLParser，将生成的对象以树的形式呈现出来^
JSqlParser存在的问题及解决
JSqlParser是一个SQL语句的解析器，包括常用的一些SQL语句，insert,update,select,delete等，但兼容的语法有限，比如括号，或者一些复杂的结构等。 对于转义字符的处理
7. 例子代码-----解析sql表格列的名称and类型
final String sql = filex.read("c:\\pojo.sql", "gbk");
new SqlParseO7(sql)
this.sqlParseO7.parse(new Closure()
public void parse(Closure c) throws JSQLParserException {
CCJSqlParserManager parserManager = new CCJSqlParserManager();
// String statement =
// "CREATE TABLE mytab (mycol a (10, 20) c nm g, mycol2 mypar1 mypar2 (23,323,3) asdf ('23','123') dasd, "
// + "PRIMARY KEY (mycol2, mycol)) type = myisam";
CreateTable createTable = (CreateTable) parserManager
.parse(new StringReader(this.sql));
List columnDefinitions = createTable.getColumnDefinitions();
String tabName = createTable.getTable().getName();
// System.out.println(columnDefinitions.size());// 获得字段总数.
for (Object object : columnDefinitions) {
ColumnDefinition col = (ColumnDefinition) object;
Object[] oa = { col.getColumnName(),
col.getColDataType().getDataType(), tabName };
c.execute(oa);
}
8. }Sql的历史
9. 解析select语句
Statement stat = new CCJSqlParserManager().parse(new StringReader(
"select * from a where 姓名='崔永远'"));
Select select = (Select) stat;
Expression where = ((PlainSelect) select.getSelectBody()).getWhere();
WhereExpressionVisitor visitor = new WhereExpressionVisitor(rowMeta, where);
for (int i = 0; i < data.length; i++) {
Object result = visitor.eval(data[i]);
if (result instanceof Boolean && ((Boolean) result).booleanValue()) {
System.out.print("通过=====>");
} else {
System.out.print("不通过=====>");
}
System.out.println(StringUtils.join(data[i], ","));
}
10. zql，JSqlParser，General sql parser.
11. ANTLR实现的SQL解析器 - OQL
12. Javacc/AST简单的介绍
JavaCC 是一个代码生成器，可以根据输入的语言定义输出一个词法分析器和解析器,JavaCC 输出的代码是合法的可编译Java代码.解析器和词法分析器本身就是一个冗长而复杂的组件，手工编写一个这样的程序需要仔细考虑各条件的相互作用，总的来说，通过javacc完成一些字符串的分析，还是比较方便，现在普遍使用AST了。
13. SQLJEP http://sqljep.sourceforge.net/
SQLJEP 是一个用来解析和仿真执行SQL语句的Java类库。支持几乎所有 Oracle 和 MaxDB 的函数。SQLJEP 使用 JavaCC 来做词法分析。
14. Sql生成SqlBuilder ,Querydsl ,hb
3.SqlBuilder http://openhms.sourceforge.net/sqlbuilder/
SqlBuilder 是一个Java的类库，它试图帮你避免在Java程序内直接书写SQL查询的痛苦。你只需要使用 SqlBuilder 的方法，它就可以帮你生成对应的 SQL 数据库查询语句，例如下面一个SQL语句：
15. 俄的总结: 还凑火JSqlParser0.7走行兰.
16. 参考
Java 实现对Sql语句解析 - 翠竹林 - 博客园.htm
SQL 语法解释器jsqlparser - serv - ITeye技术网站.htm
Hibernate源代码分析 - 青火的笔记 - 记笔记 - 私塾在线 - 只做精品视频课程服务.htm
开源语法分析器--ANTLR - 薛笛的专栏 - 博客频道 - CSDN.NET.htm
这个你有编译原理基础的话，就在找本编译原理的书看，会想起来怎么做的。这个解析过程并不太难。
如果你没学过编译原理，那就别看了，短时间内掌握不了的。可以参考这个思路：
建立一个替换表：
{”如果“ : "if", "并且" : "&&", "则" : "{", "如果结束" : "}"}，可能还有很多别的什么的吧
然后对程序进行替换
替换后为：
C = A + B
if(C > 0 && A > 5){
D=100
if(C > 5 && B > 10){
D=200
}
}
然后进行一些语法补全的操作什么的，争取转换为javascript之类的脚本语言。这样就能执行了
对于变量那个判断，可以对于变量进行遍历，查找全部赋值操作左边的变量，就是被赋值变量了，其他的就是可变的
Java解释器可用来直接解释执行Java字节代码，具体命令行格式如下：
C:\>java options className
argumentsclassName必须包括所有软件包信息。不仅有类名本身，还有Java 解释器所期望的类名（不是Java字节代码的文件名），所有在解释器环境下运行的类都必须包括解释器第一次调用时所需的main成员函数，用以传递命令所带的变量。public static void main(string args[]){ ......}
下面Java解释器的所有选项。-cs -checksource 此选项让解释器重编译Java源文件已更新的类--重编译已改变过了的类。-classpath path 此选项重写CLASSPATH环境变量，告诉Java在哪里能找到类库。如果其中用冒号分开，则可能包含多个目录。 -mx x 此选项设置内存分配池的最大值。所指定的池必须大于1,000字节。
另外“K”，“M”可附加在数字上指定是千字节还是兆字节。缺省值是16MB。 -ms x 此选项设置内存分配池的最小值。所指寂的池必须大于1,000字节。
另外，“K”，“M”可加在数字上指定的是千字节还是兆字节。缺省值是1MB。-noasyncgc 此选项关闭异步无用单元收集功能，只有在程序中调用它或内存溢出的时候，无用单元收集才会被激活。
-ss x 此选项将C线程栈的最大值设置为x ， x 必须大于1KB，其设定方式同 -ms。 -oss x 此选项设定Java堆栈最大值为x。
-v，-verbose 此选项告知Java每当类被调用之时， 向标准输出设备输出信息。 -verify 此选项告知Java在所有代码上使用校验。-verifyremote 此选项告知Java 仅仅对类载入器所载入的类进行校验。-noverify 此选项告知Java不进行校验。 -verbosegc 此选项告知Java让无用单元收集器在它释放内存时显示一条信息。 -t 此选项在Java－g解释器中是可用的，并把执行的情况逐条打印出来。 -debug 此选项允许Java调试器与本次Java 解释器会话相联接。它运行时，Java会显示一个密码，用于启动这次调试会话
-D propName=newVal 此选项允许用户在运行时改变属性值