Add tests for tokenize()
treea8d83d20dc9427927f46f0b921910fedd2b8c42d
-rw-r--r-- 76502 ABOUT-NLS
-rw-r--r-- 35 AUTHORS
-rw-r--r-- 35147 COPYING
-rw-r--r-- 40 ChangeLog
-rw-r--r-- 1313 INSTALL
-rw-r--r-- 335 Makefile.am
-rw-r--r-- 3524 NEWS
-rw-r--r-- 1448 README
-rw-r--r-- 896 TODO
-rwxr-xr-x 18343 config.rpath
-rw-r--r-- 5388 configure.ac
drwxr-xr-x - doc
drwxr-xr-x - m4
drwxr-xr-x - po
drwxr-xr-x - src
drwxr-xr-x - test