Lib/lib2to3/Grammar.txt

   1 # Grammar for Python
   2
   3 # Note:  Changing the grammar specified in this file will most likely
   4 #        require corresponding changes in the parser module
   5 #        (../Modules/parsermodule.c).  If you can't make the changes to
   6 #        that module yourself, please co-ordinate the required changes
   7 #        with someone who can; ask around on python-dev for help.  Fred
   8 #        Drake <fdrake@acm.org> will probably be listening there.
   9
  10 # NOTE WELL: You should also follow all the steps listed in PEP 306,
  11 # "How to Change Python's Grammar"
  12
  13 # Commands for Kees Blom's railroad program
  14 #diagram:token NAME
  15 #diagram:token NUMBER
  16 #diagram:token STRING
  17 #diagram:token NEWLINE
  18 #diagram:token ENDMARKER
  19 #diagram:token INDENT
  20 #diagram:output\input python.bla
  21 #diagram:token DEDENT
  22 #diagram:output\textwidth 20.04cm\oddsidemargin  0.0cm\evensidemargin 0.0cm
  23 #diagram:rules
  24
  25 # Start symbols for the grammar:
  26 #       file_input is a module or sequence of commands read from an input file;
  27 #       single_input is a single interactive statement;
  28 #       eval_input is the input for the eval() and input() functions.
  29 # NB: compound_stmt in single_input is followed by extra NEWLINE!
  30 file_input: (NEWLINE | stmt)* ENDMARKER
  31 single_input: NEWLINE | simple_stmt | compound_stmt NEWLINE
  32 eval_input: testlist NEWLINE* ENDMARKER
  33
  34 decorator: '@' dotted_name [ '(' [arglist] ')' ] NEWLINE
  35 decorators: decorator+
  36 decorated: decorators (classdef | funcdef)
  37 funcdef: 'def' NAME parameters ['->' test] ':' suite
  38 parameters: '(' [typedargslist] ')'
  39 typedargslist: ((tfpdef ['=' test] ',')*
  40                 ('*' [tname] (',' tname ['=' test])* [',' '**' tname] | '**' tname)
  41                 | tfpdef ['=' test] (',' tfpdef ['=' test])* [','])
  42 tname: NAME [':' test]
  43 tfpdef: tname | '(' tfplist ')'
  44 tfplist: tfpdef (',' tfpdef)* [',']
  45 varargslist: ((vfpdef ['=' test] ',')*
  46               ('*' [vname] (',' vname ['=' test])*  [',' '**' vname] | '**' vname)
  47               | vfpdef ['=' test] (',' vfpdef ['=' test])* [','])
  48 vname: NAME
  49 vfpdef: vname | '(' vfplist ')'
  50 vfplist: vfpdef (',' vfpdef)* [',']
  51
  52 stmt: simple_stmt | compound_stmt
  53 simple_stmt: small_stmt (';' small_stmt)* [';'] NEWLINE
  54 small_stmt: (expr_stmt | print_stmt  | del_stmt | pass_stmt | flow_stmt |
  55              import_stmt | global_stmt | exec_stmt | assert_stmt)
  56 expr_stmt: testlist (augassign (yield_expr|testlist) |
  57                      ('=' (yield_expr|testlist))*)
  58 augassign: ('+=' | '-=' | '*=' | '/=' | '%=' | '&=' | '|=' | '^=' |
  59             '<<=' | '>>=' | '**=' | '//=')
  60 # For normal assignments, additional restrictions enforced by the interpreter
  61 print_stmt: 'print' ( [ test (',' test)* [','] ] |
  62                       '>>' test [ (',' test)+ [','] ] )
  63 del_stmt: 'del' exprlist
  64 pass_stmt: 'pass'
  65 flow_stmt: break_stmt | continue_stmt | return_stmt | raise_stmt | yield_stmt
  66 break_stmt: 'break'
  67 continue_stmt: 'continue'
  68 return_stmt: 'return' [testlist]
  69 yield_stmt: yield_expr
  70 raise_stmt: 'raise' [test ['from' test | ',' test [',' test]]]
  71 import_stmt: import_name | import_from
  72 import_name: 'import' dotted_as_names
  73 import_from: ('from' ('.'* dotted_name | '.'+)
  74               'import' ('*' | '(' import_as_names ')' | import_as_names))
  75 import_as_name: NAME ['as' NAME]
  76 dotted_as_name: dotted_name ['as' NAME]
  77 import_as_names: import_as_name (',' import_as_name)* [',']
  78 dotted_as_names: dotted_as_name (',' dotted_as_name)*
  79 dotted_name: NAME ('.' NAME)*
  80 global_stmt: ('global' | 'nonlocal') NAME (',' NAME)*
  81 exec_stmt: 'exec' expr ['in' test [',' test]]
  82 assert_stmt: 'assert' test [',' test]
  83
  84 compound_stmt: if_stmt | while_stmt | for_stmt | try_stmt | with_stmt | funcdef | classdef | decorated
  85 if_stmt: 'if' test ':' suite ('elif' test ':' suite)* ['else' ':' suite]
  86 while_stmt: 'while' test ':' suite ['else' ':' suite]
  87 for_stmt: 'for' exprlist 'in' testlist ':' suite ['else' ':' suite]
  88 try_stmt: ('try' ':' suite
  89            ((except_clause ':' suite)+
  90             ['else' ':' suite]
  91             ['finally' ':' suite] |
  92            'finally' ':' suite))
  93 with_stmt: 'with' test [ with_var ] ':' suite
  94 with_var: 'as' expr
  95 # NB compile.c makes sure that the default except clause is last
  96 except_clause: 'except' [test [(',' | 'as') test]]
  97 suite: simple_stmt | NEWLINE INDENT stmt+ DEDENT
  98
  99 # Backward compatibility cruft to support:
 100 # [ x for x in lambda: True, lambda: False if x() ]
 101 # even while also allowing:
 102 # lambda x: 5 if x else 2
 103 # (But not a mix of the two)
 104 testlist_safe: old_test [(',' old_test)+ [',']]
 105 old_test: or_test | old_lambdef
 106 old_lambdef: 'lambda' [varargslist] ':' old_test
 107
 108 test: or_test ['if' or_test 'else' test] | lambdef
 109 or_test: and_test ('or' and_test)*
 110 and_test: not_test ('and' not_test)*
 111 not_test: 'not' not_test | comparison
 112 comparison: expr (comp_op expr)*
 113 comp_op: '<'|'>'|'=='|'>='|'<='|'<>'|'!='|'in'|'not' 'in'|'is'|'is' 'not'
 114 expr: xor_expr ('|' xor_expr)*
 115 xor_expr: and_expr ('^' and_expr)*
 116 and_expr: shift_expr ('&' shift_expr)*
 117 shift_expr: arith_expr (('<<'|'>>') arith_expr)*
 118 arith_expr: term (('+'|'-') term)*
 119 term: factor (('*'|'/'|'%'|'//') factor)*
 120 factor: ('+'|'-'|'~') factor | power
 121 power: atom trailer* ['**' factor]
 122 atom: ('(' [yield_expr|testlist_gexp] ')' |
 123        '[' [listmaker] ']' |
 124        '{' [dictsetmaker] '}' |
 125        '`' testlist1 '`' |
 126        NAME | NUMBER | STRING+ | '.' '.' '.')
 127 listmaker: test ( comp_for | (',' test)* [','] )
 128 testlist_gexp: test ( comp_for | (',' test)* [','] )
 129 lambdef: 'lambda' [varargslist] ':' test
 130 trailer: '(' [arglist] ')' | '[' subscriptlist ']' | '.' NAME
 131 subscriptlist: subscript (',' subscript)* [',']
 132 subscript: test | [test] ':' [test] [sliceop]
 133 sliceop: ':' [test]
 134 exprlist: expr (',' expr)* [',']
 135 testlist: test (',' test)* [',']
 136 dictsetmaker: ( (test ':' test (comp_for | (',' test ':' test)* [','])) |
 137                 (test (comp_for | (',' test)* [','])) )
 138
 139 classdef: 'class' NAME ['(' [arglist] ')'] ':' suite
 140
 141 arglist: (argument ',')* (argument [',']
 142                          |'*' test (',' argument)* [',' '**' test]
 143                          |'**' test)
 144 argument: test [comp_for] | test '=' test  # Really [keyword '='] test
 145
 146 comp_iter: comp_for | comp_if
 147 comp_for: 'for' exprlist 'in' testlist_safe [comp_iter]
 148 comp_if: 'if' old_test [comp_iter]
 149
 150 testlist1: test (',' test)*
 151
 152 # not used in grammar, but may appear in "node" passed from Parser to Compiler
 153 encoding_decl: NAME
 154
 155 yield_expr: 'yield' [testlist]