apertium-en-af/fix-scol.rb

   1 #!/usr/bin/env ruby
   2
   3 input = STDIN.read.split("^").reject { |tok| tok == "" }
   4
   5 for token in input do
   6     token = token.sub(/[ ]*([^$]*)[$][ ]*/, '\1') # Strip spaces and the $ symbol
   7     m = /([^<]*)(<([^>]*)>)?(.*)?/.match(token)
   8     lemma, pos, tags = m[1], m[3], m[4]
   9
  10     if pos == nil
  11         pos = 'unknown'
  12     end
  13
  14     tags = tags.split(">").collect { |s| s[1..s.length-1] }.join("|")
  15
  16     if lemma != '.'
  17         print "#{lemma}\t#{pos}\t#{tags}\n"
  18     else
  19         print "<s>\n"
  20     end
  21 end