Added files for tokenizer module.
tree600dc0e6f689ba6802b724e9787e1c9fbc06f27d
-rw-r--r-- 35147 COPYING
-rw-r--r-- 1292 ERRORS
-rw-r--r-- 374 Makefile
-rw-r--r-- 326 README
-rw-r--r-- 554 error.c
-rw-r--r-- 634 error.h
-rw-r--r-- 1856 jack.c
-rw-r--r-- 162 jack.h
-rw-r--r-- 1 token.c
-rw-r--r-- 1227 token.h