Added tokenize.rb, which contains the tokenization function.
tree3f660f5e15e399a79a11e1c0a57b2083afc7e3e8
-rw-r--r-- 1060 LICENSE
-rw-r--r-- 750 Makefile
-rw-r--r-- 967 README
-rw-r--r-- 2463 add_messages.rb
-rw-r--r-- 2632 calculate_scores.rb
-rw-r--r-- 2238 mailvisa.rb
-rw-r--r-- 3258 mailvisad.rb
-rw-r--r-- 792 make_mailvisa.rb
-rw-r--r-- 2018 remove_messages.rb
-rw-r--r-- 67 tokenize.rb
-rw-r--r-- 884 view_scores.rb
-rw-r--r-- 817 wordlist.rb