can use CONLLs, TurboParser stuff, i18n, cleanup
authorArne Köhn <koehn@informatik.uni-hamburg.de>
Wed, 11 Dec 2013 13:50:59 +0000 (14:50 +0100)
committerArne Köhn <koehn@informatik.uni-hamburg.de>
Fri, 27 Jun 2014 23:56:31 +0000 (01:56 +0200)
commitefba5465f5fcb9f450e67b1e5e0ba149c2944c58
tree8779f3806fc17f8452772523a12395a1a054bb82
parent75952542b4b7c56909e3a2bd66d221f5a6b143d5
can use CONLLs, TurboParser stuff, i18n, cleanup

The skripts now automatically switch between cda and conll format based
on the file ending.

TurboParser output (unused nodes are attached to a special "unused" node
instead of NIL) can be evaluated with the -u switch.

Logging is done with the logging framework.

Predictability computation has been factored out, support for english is
available.

argument parsing is done with argparse

Prefixes can be padded with virtual nodes to train TurboParser

Prefixes can be created with only padded nodes (useful for TP
input). Could be done with much less (CPU-)work but the infrastructure
was already in place.

folding and implicit are no longer supported since they don't map well
to other languages.
.gitignore [new file with mode: 0644]
cdgevaluator_timecourse.py
conllparser.py
create_prefixes_virtual_unified.py
tagger2conll.py
transform_de.py [new file with mode: 0644]
transform_en.py [new file with mode: 0644]
tree.py