so geht das mit dem tokenizer
tree632acb6bf389f4d162a0daf36e1262f68c8147ae
-rw-r--r-- 122 GNUmakefile
-rw-r--r-- 590967 NIST
-rw-r--r-- 16701 TEST
-rw-r--r-- 24092 clex.lisp
-rw-r--r-- 4647 compact.lisp
-rw-r--r-- 614 cxml-rng.asd
drwxr-xr-x - doc
-rw-r--r-- 1350 index.css
-rw-r--r-- 4469 index.html
-rw-r--r-- 3786 index.xml
-rw-r--r-- 1359 index.xsl
-rw-r--r-- 5590 package.lisp
-rw-r--r-- 60314 parse.lisp
-rw-r--r-- 6566 test.lisp
-rw-r--r-- 14244 types.lisp
-rw-r--r-- 26812 validate.lisp