src/sql_parser.mly

   1 /*
   2   Simple SQL parser
   3 */
   4
   5
   6 %{
   7   open Printf
   8   open Sql.Constraint
   9   open Sql.Type
  10   open ListMore
  11   open Stmt
  12   open Syntax
  13   open Prelude
  14
  15   let params_of select = List.map (fun x -> `Param x) (snd select)
  16
  17   let select_value select =
  18     let (s,_) = select in
  19     if (List.length s <> 1) then
  20       raise (RA.Schema.Error (s,"only one column allowed for SELECT operator in this expression"));
  21     params_of select
  22
  23   let values_or_all table names =
  24     let schema = Tables.get_schema table in
  25     match names with
  26     | Some names -> RA.Schema.project names schema
  27     | None -> schema
  28
  29   let update_tables tables ss w =
  30     let (tables,params) = List.split tables in
  31     let p1 = Syntax.params_of_assigns tables ss in
  32     let p2 = get_params_opt tables (Syntax.all_tbl_columns tables) w in
  33     (List.flatten params) @ p1 @ p2
  34
  35   (* preserve order *)
  36   let limit l =
  37     let param = function
  38       | _, `Const _ -> None
  39       | x, `Param (None,pos) -> Some ((Some (match x with `Limit -> "limit" | `Offset -> "offset"),pos),Int)
  40       | _, `Param p -> Some (p,Int)
  41     in
  42     List.filter_map param l, List.mem (`Limit,`Const 1) l
  43
  44 %}
  45
  46 %token <int> INTEGER
  47 %token <string> IDENT TEXT BLOB
  48 %token <float> FLOAT
  49 %token <Stmt.param_id> PARAM
  50 %token <Sql.Type.t * bool> FUNCTION /* return type * is grouping function? */
  51 %token LPAREN RPAREN COMMA EOF DOT NULL
  52 %token CONFLICT_ALGO
  53 %token SELECT INSERT OR INTO CREATE UPDATE VIEW TABLE VALUES WHERE ASTERISK DISTINCT ALL ANY SOME
  54        LIMIT ORDER BY DESC ASC EQUAL DELETE FROM DEFAULT OFFSET SET JOIN LIKE_OP LIKE
  55        EXCL TILDE NOT TEST_NULL BETWEEN AND ESCAPE USING UNION EXCEPT INTERSECT AS
  56        CONCAT_OP JOIN_TYPE1 JOIN_TYPE2 NATURAL CROSS REPLACE IN GROUP HAVING
  57        UNIQUE PRIMARY KEY FOREIGN AUTOINCREMENT ON CONFLICT TEMPORARY IF EXISTS
  58        PRECISION UNSIGNED ZEROFILL VARYING CHARSET NATIONAL ASCII UNICODE COLLATE BINARY CHARACTER
  59        DATETIME_FUNC DATE TIME TIMESTAMP ALTER ADD COLUMN CASCADE RESTRICT DROP
  60        GLOBAL LOCAL VALUE REFERENCES CHECK CONSTRAINT IGNORED AFTER INDEX FULLTEXT FIRST
  61        CASE WHEN THEN ELSE END CHANGE
  62 %token NUM_DIV_OP NUM_BIT_OP NUM_EQ_OP NUM_CMP_OP PLUS MINUS
  63 %token T_INTEGER T_BLOB T_TEXT T_FLOAT T_BOOLEAN T_DATETIME
  64
  65 (*
  66 %left COMMA_JOIN
  67 %left JOIN_JOIN
  68 *)
  69 (* FIXME precedence of COMMA and JOIN *)
  70
  71 %left TEST_NULL
  72 %left OR
  73 %left AND
  74 %nonassoc EQUAL NUM_EQ_OP
  75 %nonassoc NUM_CMP_OP
  76 %nonassoc NUM_BIT_OP
  77 %left PLUS MINUS
  78 %left ASTERISK NUM_DIV_OP
  79 %left CONCAT_OP
  80
  81 %type <Syntax.expr> expr
  82
  83 %start <RA.Schema.t * Stmt.params * Stmt.kind> input
  84
  85 %%
  86
  87 input: statement EOF { $1 }
  88
  89 if_not_exists: IF NOT EXISTS { }
  90 if_exists: IF EXISTS {}
  91 temporary: either(GLOBAL,LOCAL)? TEMPORARY { }
  92
  93 statement: CREATE ioption(temporary) TABLE ioption(if_not_exists) name=IDENT schema=table_definition
  94               {
  95                 Tables.add (name,schema);
  96                 ([],[],Create name)
  97               }
  98          | ALTER TABLE name=table_name actions=commas(alter_action)
  99               {
 100                 List.iter (function
 101                 | `Add (col,pos) -> Tables.alter_add name col pos
 102                 | `Drop col -> Tables.alter_drop name col
 103                 | `Change (oldcol,col,pos) -> Tables.alter_change name oldcol col pos
 104                 | `None -> ()) actions;
 105                 ([],[],Alter name)
 106               }
 107          | DROP TABLE if_exists? name=IDENT
 108               {
 109                 Tables.drop name;
 110                 ([],[],Drop name)
 111               }
 112          | CREATE either(TABLE,VIEW) name=IDENT AS select=select_stmt
 113               {
 114                 let (s,p) = select in
 115                 Tables.add (name,s);
 116                 ([],p,Create name)
 117               }
 118          | CREATE UNIQUE? INDEX if_not_exists? name=table_name
 119                 ON table=table_name cols=sequence(index_column)
 120               {
 121                 RA.Schema.project cols (Tables.get_schema table) >> ignore; (* just check *)
 122                 [],[],CreateIndex name
 123               }
 124          | select_stmt_t { $1 }
 125          | insert_cmd table=IDENT names=sequence(IDENT)? VALUES values=sequence(expr)?
 126               {
 127                 let expect = values_or_all table names in
 128                 let params, values = match values with
 129                 | None -> [], Some expect
 130                 | Some values ->
 131                   let vl = List.length values in
 132                   let cl = List.length expect in
 133                   if vl <> cl then
 134                     failwith (sprintf "Expected %u expressions in VALUES list, %u provided" cl vl);
 135                   Syntax.params_of_assigns [Tables.get table] (List.combine (List.map (fun a -> a.RA.name, None) expect) values), None
 136                 in
 137                 [], params, Insert (values,table)
 138               }
 139          | insert_cmd table=IDENT names=sequence(IDENT)? select=maybe_parenth(select_stmt)
 140               {
 141                 let (schema,params) = select in
 142                 let expect = values_or_all table names in
 143                 ignore (RA.Schema.compound expect schema); (* test equal types *)
 144                 [], params, Insert(None,table)
 145               }
 146          | insert_cmd table=IDENT SET ss=commas(set_column)
 147               {
 148                 let p1 = Syntax.params_of_assigns [Tables.get table] ss in
 149                 [], p1, Insert (None,table)
 150               }
 151          | update_cmd table=IDENT SET ss=commas(set_column) w=where? o=loption(order) lim=loption(limit)
 152               {
 153                 let params = update_tables [Tables.get table,[]] ss w in
 154                 let p3 = Syntax.params_of_order o [] [Tables.get table] in
 155                 [], params @ p3 @ lim, Update (Some table)
 156               }
 157          /* http://dev.mysql.com/doc/refman/5.1/en/update.html multi-table syntax */
 158          | update_cmd tables=commas(source) SET ss=commas(set_column) w=where?
 159               {
 160                 let params = update_tables tables ss w in
 161                 [], params, Update None
 162               }
 163          | DELETE FROM table=IDENT w=where?
 164               {
 165                 let t = Tables.get table in
 166                 let p = get_params_opt [t] (snd t) w in
 167                 [], p, Delete table
 168               }
 169          | SET IDENT EQUAL either(literal_value,IDENT) { [], [], Other }
 170
 171 table_name: name=IDENT | IDENT DOT name=IDENT { name } (* FIXME db name *)
 172 index_column: name=IDENT collate? order_type? { name }
 173
 174 table_definition: t=sequence_(column_def1) table_def_done { List.filter_map (function `Attr a -> Some a | `Constraint _ -> None) t }
 175                 | LIKE name=maybe_parenth(IDENT) { Tables.get name >> snd } (* mysql *)
 176
 177 (* ugly, can you fixme? *)
 178 (* ignoring everything after RPAREN (NB one look-ahead token) *)
 179 table_def_done: table_def_done1 RPAREN IGNORED* { Parser_state.mode_normal () }
 180 table_def_done1: { Parser_state.mode_ignore () }
 181
 182 select_stmt_t: select_core other=list(preceded(compound_op,select_core))
 183                o=loption(order) lim=limit_t?
 184               {
 185                 let (s1,p1,tbls,singlerow1) = $1 in
 186                 let (s2l,p2l) = List.split (List.map (fun (s,p,_,_) -> s,p) other) in
 187                 if Config.debug1 () then eprintf "singlerow=%b other=%u\n%!" singlerow1 (List.length other);
 188                 let singlerow1 = singlerow1 && other = [] in
 189                 (* ignoring tables in compound statements - they cannot be used in ORDER BY *)
 190                 let final_schema = List.fold_left RA.Schema.compound s1 s2l in
 191                 let p3 = Syntax.params_of_order o final_schema tbls in
 192                 let (p4,singlerow) = match lim with | Some x -> x | None -> [],false in
 193 (*                 RA.Schema.check_unique schema; *)
 194                 final_schema,(p1@(List.flatten p2l)@p3@p4), Select (singlerow || singlerow1)
 195               }
 196
 197 select_stmt: select_stmt_t { let (s,p,_) = $1 in s,p }
 198
 199 select_core: SELECT select_type? r=commas(column1)
 200              FROM t=table_list
 201              w=where?
 202              g=loption(group)
 203              h=having?
 204               {
 205                 let (tbls,p2,joined_schema) = Syntax.join t in
 206                 let singlerow = g = [] && Syntax.test_all_grouping r in
 207                 let singlerow2 = w = None && g = [] && Syntax.test_all_const r in
 208                 let p1 = Syntax.params_of_columns tbls joined_schema r in
 209                 let p3 = Syntax.get_params_opt tbls joined_schema w in
 210                 let p4 = Syntax.get_params_l tbls joined_schema g in
 211                 let p5 = Syntax.get_params_opt tbls joined_schema h in
 212                 (Syntax.infer_schema r tbls joined_schema, p1 @ p2 @ p3 @ p4 @ p5, tbls, singlerow || singlerow2)
 213               }
 214
 215 table_list: src=source joins=join_source* { (src,joins) }
 216
 217 join_source: NATURAL maybe_join_type JOIN src=source { src,`Natural }
 218            | CROSS JOIN src=source { src,`Cross }
 219            | qualified_join src=source cond=join_cond { src,cond }
 220
 221 qualified_join: COMMA | maybe_join_type JOIN { }
 222
 223 join_cond: ON e=expr { `Search e }
 224          | USING l=sequence(IDENT) { `Using l }
 225          | (* *) { `Default }
 226
 227 source1: IDENT { Tables.get $1,[] }
 228        | LPAREN s=select_core RPAREN { let (s,p,_,_) = s in ("",s),p }
 229
 230 source: src=source1 alias=maybe_as
 231     {
 232       match alias with
 233       | Some name -> let ((_,s),p) = src in ((name,s),p)
 234       | None -> src
 235     }
 236
 237 insert_cmd: INSERT OR conflict_algo INTO | INSERT INTO | REPLACE INTO { }
 238 update_cmd: UPDATE | UPDATE OR conflict_algo { }
 239 conflict_algo: CONFLICT_ALGO | REPLACE { }
 240
 241 select_type: DISTINCT | ALL { }
 242
 243 int_or_param: i=INTEGER { `Const i }
 244             | p=PARAM { `Param p }
 245
 246 limit_t: LIMIT lim=int_or_param { limit [`Limit,lim] }
 247        | LIMIT ofs=int_or_param COMMA lim=int_or_param { limit [`Offset,ofs; `Limit,lim] }
 248        | LIMIT lim=int_or_param OFFSET ofs=int_or_param { limit [`Limit,lim; `Offset,ofs] }
 249
 250 limit: limit_t { fst $1 }
 251
 252 order: ORDER BY l=commas(terminated(expr,order_type?)) { l }
 253 order_type: DESC | ASC { }
 254
 255 where: WHERE e=expr { e }
 256 group: GROUP BY l=expr_list { l }
 257 having: HAVING e=expr { e }
 258
 259 column1:
 260        | IDENT DOT ASTERISK { Syntax.AllOf $1 }
 261        | ASTERISK { Syntax.All }
 262        | e=expr m=maybe_as { Syntax.Expr (e,m) }
 263
 264 maybe_as: AS? name=IDENT { Some name }
 265         | { None }
 266
 267 maybe_parenth(X): x=X | LPAREN x=X RPAREN { x }
 268
 269 alter_action: ADD COLUMN? col=maybe_parenth(column_def) pos=alter_pos { `Add (col,pos) }
 270             | ADD index_type IDENT? sequence(IDENT) { `None }
 271             | DROP INDEX IDENT { `None }
 272             | DROP COLUMN? col=IDENT drop_behavior? { `Drop col } (* FIXME behavior? *)
 273             | CHANGE COLUMN? old_name=IDENT column=column_def pos=alter_pos { `Change (old_name,column,pos) }
 274 index_type: INDEX | FULLTEXT | PRIMARY KEY { }
 275 alter_pos: AFTER col=IDENT { `After col }
 276          | FIRST { `First }
 277          | { `Default }
 278 drop_behavior: CASCADE | RESTRICT { }
 279
 280 column_def: name=IDENT t=sql_type? column_def_extra*
 281     { RA.attr name (match t with Some x -> x | None -> Int) }
 282
 283 column_def1: c=column_def { `Attr c }
 284            | pair(CONSTRAINT,IDENT)? c=table_constraint_1 { `Constraint c }
 285
 286 on_conflict: ON CONFLICT algo=conflict_algo { algo }
 287 column_def_extra: PRIMARY KEY { Some PrimaryKey }
 288                 | NOT NULL { Some NotNull }
 289                 | NULL { None }
 290                 | UNIQUE { Some Unique }
 291                 | AUTOINCREMENT { Some Autoincrement }
 292                 | on_conflict { None }
 293                 | CHECK LPAREN expr RPAREN { None }
 294                 | DEFAULT default_value { None } (* FIXME check type with column *)
 295                 | COLLATE IDENT { None }
 296
 297 default_value: literal_value | datetime_value { }
 298
 299 (* FIXME check columns *)
 300 table_constraint_1:
 301       | some_key IDENT? key_arg { [] }
 302       | FOREIGN KEY IDENT? sequence(IDENT) REFERENCES IDENT sequence(IDENT)? { [] }
 303       | CHECK LPAREN expr RPAREN { [] }
 304
 305 some_key: UNIQUE KEY? | PRIMARY? KEY | FULLTEXT KEY { }
 306 key_arg: LPAREN VALUE RPAREN | sequence(IDENT) { }
 307
 308 set_column: name=attr_name EQUAL e=expr { name,e }
 309
 310 (* expr: expr1 { $1 >> Syntax.expr_to_string >> prerr_endline; $1 } *)
 311
 312 anyall: ANY | ALL | SOME { }
 313
 314 mnot(X): NOT x = X | x = X { x }
 315
 316 attr_name: name=IDENT { (name,None) }
 317          | table=IDENT DOT name=IDENT
 318          | IDENT DOT table=IDENT DOT name=IDENT { (name,Some table) } (* FIXME database identifier *)
 319
 320 expr:
 321      expr numeric_bin_op expr %prec PLUS { `Func ((Int,false),[$1;$3]) }
 322     | expr boolean_bin_op expr %prec AND { `Func ((Bool,false),[$1;$3]) }
 323     | e1=expr comparison_op anyall? e2=expr %prec EQUAL { `Func ((Bool,false),[e1;e2]) }
 324     | expr CONCAT_OP expr { `Func ((Text,false),[$1;$3]) }
 325     | e1=expr mnot(like) e2=expr e3=escape?
 326       { `Func ((Any,false),(List.filter_valid [Some e1; Some e2; e3])) }
 327     | unary_op expr { $2 }
 328     | LPAREN expr RPAREN { $2 }
 329     | attr_name { `Column $1 }
 330     | v=literal_value | v=datetime_value { v }
 331     | e1=expr mnot(IN) l=sequence(expr) { `Func ((Any,false),e1::l) }
 332     | e1=expr mnot(IN) LPAREN select=select_stmt RPAREN
 333       {
 334         `Func ((Any,false),e1::select_value select)
 335       }
 336     | e1=expr IN table=IDENT { Tables.check(table); e1 }
 337     | LPAREN select=select_stmt RPAREN
 338       {
 339         `Func ((Any,false),select_value select)
 340       }
 341     | PARAM { `Param ($1,Any) }
 342     | f=FUNCTION LPAREN p=func_params RPAREN { `Func (f,p) }
 343     | expr TEST_NULL { $1 }
 344     | expr mnot(BETWEEN) expr AND expr { `Func ((Int,false),[$1;$3;$5]) }
 345     | mnot(EXISTS) LPAREN select=select_stmt RPAREN { `Func ((Bool,false),params_of select) }
 346     | CASE e1=expr? branches=nonempty_list(case_branch) e2=preceded(ELSE,expr)? END
 347       {
 348         let l = function None -> [] | Some x -> [x] in
 349         `Func ((Any,false),l e1 @ List.flatten branches @ l e2)
 350       }
 351
 352 case_branch: WHEN e1=expr THEN e2=expr { [e1;e2] }
 353 like: LIKE | LIKE_OP { }
 354
 355 datetime_value: | DATETIME_FUNC | DATETIME_FUNC LPAREN INTEGER? RPAREN { `Value Datetime }
 356
 357 literal_value:
 358     | TEXT { `Value Text }
 359     | BLOB { `Value Blob }
 360     | INTEGER { `Value Int }
 361     | FLOAT { `Value Float }
 362     | DATE TEXT
 363     | TIME TEXT
 364     | TIMESTAMP TEXT { `Value Datetime }
 365
 366 expr_list: l=commas(expr) { l }
 367 func_params: expr_list { $1 }
 368            | ASTERISK { [] }
 369            | (* *) { [] }
 370 escape: ESCAPE expr { $2 }
 371 numeric_bin_op: PLUS | MINUS | ASTERISK | NUM_DIV_OP | NUM_BIT_OP { }
 372 comparison_op: EQUAL | NUM_CMP_OP | NUM_EQ_OP { }
 373 boolean_bin_op: AND | OR { }
 374
 375 unary_op: EXCL { }
 376         | PLUS { }
 377         | MINUS { }
 378         | TILDE { }
 379         | NOT { }
 380
 381 sql_type_flavor: T_INTEGER UNSIGNED? ZEROFILL? { Int }
 382                | binary { Blob }
 383                | NATIONAL? text VARYING? charset? collate? { Text }
 384                | T_FLOAT PRECISION? { Float }
 385                | T_BOOLEAN { Bool }
 386                | T_DATETIME | DATE | TIME | TIMESTAMP { Datetime }
 387
 388 binary: T_BLOB | BINARY | BINARY VARYING { }
 389 text: T_TEXT | T_TEXT LPAREN INTEGER RPAREN | CHARACTER { }
 390
 391 %inline either(X,Y): X | Y { }
 392 %inline commas(X): l=separated_nonempty_list(COMMA,X) { l }
 393 (* (x1,x2,...,xn) *)
 394 %inline sequence_(X): LPAREN l=commas(X) { l }
 395 %inline sequence(X): l=sequence_(X) RPAREN { l }
 396
 397 charset: CHARSET either(IDENT,BINARY) | CHARACTER SET either(IDENT,BINARY) | ASCII | UNICODE { }
 398 collate: COLLATE IDENT { }
 399
 400 sql_type: t=sql_type_flavor
 401         | t=sql_type_flavor LPAREN INTEGER RPAREN UNSIGNED?
 402         | t=sql_type_flavor LPAREN INTEGER COMMA INTEGER RPAREN
 403         { t }
 404
 405 compound_op: UNION ALL? | EXCEPT | INTERSECT { }
 406
 407 maybe_join_type: JOIN_TYPE1? JOIN_TYPE2? { }