src/syntax/token.slate

   1 ensureNamespace: #tokens &delegate: True.
   2
   3 tokens define: #Token &parents: {Cloneable}.
   4
   5 _ nextFrom: _@(tokens Token traits) [Nil].
   6
   7 _ nextLiteralFrom: _@(tokens Token traits) [Nil].
   8
   9 t@(tokens Token traits) signifier
  10 "Answer a String representing the punctuation/lexical beginning."
  11 [t printName].
  12
  13 tokens define: #TokenWithValue &parents: {tokens Token} &slots: {#value}.
  14
  15 node@(tokens TokenWithValue traits) for: obj
  16 [node new `setting: #{#value} to: {obj}].
  17
  18 t@(tokens TokenWithValue traits) signifier
  19 [
  20   resend ; ':' ; (t value as: '')
  21 ].
  22
  23 tokens define: #LiteralToken &parents: {tokens TokenWithValue}.
  24
  25 _ nextLiteralFrom: token@(tokens LiteralToken traits) [token value].
  26
  27 _ nextFrom: token@(tokens LiteralToken traits)
  28 [nodes Literal for: token value].
  29
  30 tokens define: #Comment &parents: {tokens TokenWithValue}.
  31
  32 _@(tokens Comment traits) signifier ['"'].
  33
  34 tokens define: #Whitespace &parents: {tokens TokenWithValue}.
  35
  36 _@(tokens Whitespace traits) signifier [' '].
  37
  38 tokens define: #Selector &parents: {tokens TokenWithValue}.
  39
  40 tokens define: #QuoteMacro &parents: {tokens TokenWithValue}.
  41
  42 "Parser optimization"
  43 _@(tokens Selector traits) is: _@(tokens Selector traits) [True].
  44 _@(tokens Token traits) is: _@(tokens Selector traits) [False].
  45
  46 ns@Syntax isUnarySelector: sel@(tokens Selector traits)
  47 [ns isUnarySelector: sel value].
  48
  49 ns@Syntax isBinarySelector: sel@(tokens Selector traits)
  50 [ns isBinarySelector: sel value].
  51
  52 ns@Syntax isKeywordSelector: sel@(tokens Selector traits)
  53 [ns isKeywordSelector: sel value].
  54
  55 ns@Syntax isOptionalSelector: sel@(tokens Selector traits)
  56 [ns isOptionalSelector: sel value].
  57
  58 ns@Syntax isReturnSelector: sel@(tokens Selector traits)
  59 [ns isReturnSelector: sel value].
  60
  61 ns@Syntax isUnarySelector: sel@(tokens Token traits) [False].
  62 ns@Syntax isBinarySelector: sel@(tokens Token traits) [False].
  63 ns@Syntax isKeywordSelector: sel@(tokens Token traits) [False].
  64 ns@Syntax isOptionalSelector: sel@(tokens Token traits) [False].
  65 ns@Syntax isReturnSelector: sel@(tokens Token traits) [False].
  66
  67 _ nextLiteralFrom: token@(tokens Selector traits) [token value].
  68
  69 parser nextFrom: token@(tokens Selector traits)
  70 [
  71   (Syntax isUnarySelector: token)
  72     ifTrue:
  73       [(parser currentScope findVariable: token value)
  74          ifNil:
  75            [token value =~ #resend
  76               ifTrue: [nodes Resend clone]
  77               ifFalse: [nodes UnaryMessage
  78                           sending: token value to: {nodes ImplicitArgument}]]
  79          ifNotNilDo: #load `er]
  80 ].
  81
  82 s@(tokens Selector traits) messageType
  83 [nodes Message].
  84
  85 tokens define: #MacroSelector &parents: {tokens Selector}.
  86
  87 _ nextFrom: token@(tokens MacroSelector traits)
  88 [
  89   (Syntax isUnarySelector: token) ifTrue:
  90     [nodes UnaryMacro sending: token value to: {nodes ImplicitArgument}]
  91 ].
  92
  93 s@(tokens MacroSelector traits) messageType
  94 [nodes Macro].
  95
  96 tokens define: #DeferredSelector &parents: {tokens Selector}.
  97
  98 _ nextFrom: token@(tokens DeferredSelector traits)
  99 [
 100   (Syntax isUnarySelector: token) ifTrue:
 101     [nodes UnaryDeferred
 102        sending: token value to: {nodes ImplicitArgument}]
 103 ].
 104
 105 s@(tokens DeferredSelector traits) messageType
 106 [nodes Deferred].
 107
 108 tokens define: #Control &parents: {tokens Token}.
 109
 110 tokens define: #BeginParenthesis &parents: {tokens Control}.
 111
 112 parser nextLiteralFrom: _@(tokens BeginParenthesis traits)
 113 [parser nextLiteralFrom: tokens BeginLiteralParenthesis].
 114
 115 parser nextFrom: _@(tokens BeginParenthesis traits)
 116 [
 117   parser nonInteractivelyDo:
 118     [([| :statements token |
 119        statements nextPut: parser nextAsStatement.
 120        [(token := parser nextToken) isSameAs: tokens EndParenthesis]
 121           whileFalse:
 122             [parser check: token is: parser EndParenthesisStatementTokens.
 123              statements nextPut: parser nextAsStatement]]
 124        writingAs: #{}) as: nodes Parenthesis]
 125 ].
 126
 127 _@(tokens BeginParenthesis traits) signifier ['('].
 128
 129 tokens define: #EndParenthesis &parents: {tokens Control}.
 130
 131 _@(tokens EndParenthesis traits) signifier [')'].
 132
 133 tokens define: #BeginArray &parents: {tokens Control}.
 134
 135 parser nextLiteralFrom: token@(tokens BeginArray traits)
 136 [(parser nextFrom: token) evaluate].
 137
 138 parser nextFrom: _@(tokens BeginArray traits)
 139 [
 140   parser nonInteractivelyDo:
 141     [([| :statements token |
 142        [(token := parser peekToken) isSameAs: tokens EndArray]
 143           whileFalse:
 144             [statements nextPut: parser nextAsStatement.
 145              parser check: (token := parser peekToken) is: parser EndArrayStatementTokens.
 146              (token isSameAs: tokens EndStatement) ifTrue: [parser nextToken]].
 147        parser nextToken] writingAs: #{}) as: nodes Array]
 148 ].
 149
 150 _@(tokens BeginArray traits) signifier ['{'].
 151
 152 tokens define: #EndArray &parents: {tokens Control}.
 153
 154 _@(tokens EndArray traits) signifier ['}'].
 155
 156 tokens define: #BeginLiteral &parents: {tokens Control}.
 157
 158 parser nextFrom: token@(tokens BeginLiteral traits)
 159 [
 160   parser inScope: parser currentScope topLevel do:
 161     [nodes Literal for: (parser nextLiteralFrom: token)]
 162 ].
 163
 164 tokens define: #BeginLiteralArray &parents: {tokens BeginLiteral}.
 165
 166 parser nextLiteralFrom: _@(tokens BeginLiteralArray traits)
 167 [
 168   parser nextLiteralFrom: tokens BeginArray
 169 ].
 170
 171 _@(tokens BeginLiteralArray traits) signifier ['#{'].
 172
 173 tokens define: #BeginLiteralParenthesis &parents: {tokens BeginLiteral}.
 174
 175 parser nextLiteralFrom: _@(tokens BeginLiteralParenthesis traits)
 176 [
 177   parser nonInteractivelyDo:
 178     [[| :elements token |
 179       [(token := parser peekToken) isSameAs: tokens EndParenthesis]
 180          whileFalse: [elements nextPut: parser nextLiteral].
 181       parser nextToken] writingAs: #{}]
 182 ].
 183
 184 _@(tokens BeginLiteralParenthesis traits) signifier ['##('].
 185
 186 tokens define: #BeginPattern &parents: {tokens Control}.
 187
 188 parser nextFrom: _@(tokens BeginPattern traits)
 189 [| statements |
 190   parser nonInteractivelyDo:
 191     [statements :=
 192        [| :statements token |
 193         statements nextPut: parser nextAsStatement.
 194         [(token := parser nextToken) isSameAs: tokens EndParenthesis]
 195           whileFalse:
 196             [parser check: token is: parser EndParenthesisStatementTokens.
 197              statements nextPut:
 198                (token == tokens At
 199                   ifTrue:
 200                     [parser nextMessage &after:
 201                        (parser recordDeclaredTypeOf: parser nextSignature)]
 202                   ifFalse:
 203                     [parser nextAsStatement])]]
 204        writingAs: #{}.
 205      statements infect:
 206        [| :statement |
 207         statement transformBy: [| :node | node as: nodes Placeholder].
 208         nodes Pattern for: statement]].
 209   statements parenthesize
 210 ].
 211
 212 _@(tokens BeginPattern traits) signifier ['#('].
 213
 214 tokens define: #BeginLiteralBlock &parents: {tokens BeginLiteral}.
 215
 216 parser nextLiteralFrom: _@(tokens BeginLiteralBlock traits)
 217 [
 218   (parser nextLiteralFrom: tokens BeginBlock) do
 219 ].
 220
 221 _@(tokens BeginLiteralBlock traits) signifier ['#['].
 222
 223 tokens define: #BeginBlock &parents: {tokens Control}.
 224
 225 parser nextLiteralFrom: token@(tokens BeginBlock traits)
 226 [
 227   (parser nextFrom: token) evaluate
 228 ].
 229
 230 parser nextFrom: _@(tokens BeginBlock traits)
 231 [
 232   parser nextBlock
 233 ].
 234
 235 _@(tokens BeginBlock traits) signifier ['['].
 236
 237 tokens define: #EndBlock &parents: {tokens Control}.
 238
 239 _@(tokens EndBlock traits) signifier [']'].
 240
 241 tokens define: #CommentStart &parents: {tokens Control}.
 242
 243 _@(tokens CommentStart traits) signifier ['"'].
 244
 245 tokens define: #CommentEnd &parents: {tokens Control}.
 246
 247 _@(tokens CommentEnd traits) signifier ['"'].
 248
 249 tokens define: #At &parents: {tokens Control}.
 250
 251 _ nextLiteralFrom: _@(tokens At traits) [#'@'].
 252
 253 _@(tokens At traits) signifier ['@'].
 254
 255 tokens define: #EndStatement &parents: {tokens Control}.
 256
 257 _ nextLiteralFrom: _@(tokens EndStatement traits) [#'.'].
 258
 259 _@(tokens EndStatement traits) signifier ['.'].
 260
 261 tokens define: #Comma &parents: {tokens Control}.
 262
 263 _ nextLiteralFrom: _@(tokens Comma traits) [#','].
 264
 265 _@(tokens Comma traits) signifier [','].
 266
 267 tokens define: #BeginVariables &parents: {tokens Control}.
 268
 269 _ nextLiteralFrom: _@(tokens BeginVariables traits) [#'|'].
 270
 271 _@(tokens BeginVariables traits) signifier ['|'].
 272
 273 tokens define: #EndVariables &builder: [tokens BeginVariables].
 274
 275 tokens define: #EndStream &parents: {tokens Control}.
 276 "The end of the input Stream."
 277
 278 tokens define: #EndLine &parents: {tokens Control}.
 279 "The end of a line of input."
 280
 281 tokens define: #Type &parents: {tokens Control}.
 282 "A type annotation token."
 283
 284 _@(tokens Type traits) signifier ['!'].
 285
 286 tokens define: #Quote &parents: {tokens Control}.
 287 "Begins a quoted atom, or non-selector syntax prefixed by `."
 288
 289 parser nextFrom: token@(tokens Quote traits)
 290 [
 291   nodes UnaryMacro sending: #quote to: {parser nextAtom}
 292 ].
 293
 294 _@(tokens Quote traits) signifier ['`'].
 295
 296 tokens define: #Eventually &parents: {tokens Control}.
 297 "Begins an eventual atom, or non-selector syntax prefixed by %."
 298
 299 parser nextFrom: token@(tokens Eventually traits)
 300 [
 301   nodes UnaryMessage sending: #eventually to:
 302     {(nodes Block newFor: parser nextAtom) `>>
 303       [parentScope := parser currentScope. recordPositionFrom: parser]}
 304 ].
 305
 306 _ nextLiteralFrom: _@(tokens Eventually traits) [#'%'].
 307
 308 _@(tokens Eventually traits) signifier ['%'].