[PATCH] speed up (and fix corner case in) tokenizer
commit327997cc3031677b5c208c48d806821e31a40ccc
authorAlexander Viro <viro@parcelfarce.linux.theplanet.co.uk>
Fri, 16 Jul 2004 04:27:52 +0000 (15 21:27 -0700)
committerLinus Torvalds <torvalds@ppc970.osdl.org>
Fri, 8 Apr 2005 04:02:13 +0000 (7 21:02 -0700)
treeb8385d56dd851c349bf0fbcd62b0aeee30e97663
parenta33b9a16e804140efd0bba312f65026a3a57bba5
[PATCH] speed up (and fix corner case in) tokenizer

This makes our own specialized version of "ctype.h"-like character
classes, which has the extra magic classes we need to look up things
like "can this character be the second character of a special token".

Also fix a corner case in ## handling (## shouldn't glue / with / or /
with *).
token.h
tokenize.c