Martin Roppelt writes: > Karl Köckemann schrieb: > > Dennis Heidsiek writes: > > > Karl Köckemann ſchrieb am 02.05.2010 23:31 Uhr: > > > > Heruntergeladen werden kann er mit dem Verweis: > > > > http://www.simpleupload.net/download/507348/sentences.mod.txt.zip.html > > > Wenn Du einverstanden bist, kann ich das auch nochmal in das Neo-SVN > > > schieben. > > ja, damit bin ich einverstanden. SimpleUpload wird die Datei ohnehin > > irgendwann löschen. > > Und noch ne Frage: Sind in den n-Grammen auch Zeilenumbrüche/Enter > dabei? Wie sind die gestaltet?
Hallo Martin, der originale Leipziger Korpus enthält genau ein Satz pro Zeile. Daraus lassen sich keine brauchbaren statistischen Daten für Zeilenumbrüche erfassen. Deshalb muss man aus anderen bekannten Statistiken die Häufigkeit für Zeilenumbrüche nehmen. In der modifizierten Korpusdatei wurden jeweils 5 Sätze zu einem Absatz zusammengefasst, um wenigstens in der Datei mit dem Zeilenumbruch innerhalb bekannter Häufigkeiten dafür zu liegen. Später mussten manche unbrauchbare Sätze entfernt werden, wodurch etwas weniger Zeilenumbrüche/Enter als alle 5 Sätze vorkommen. Da manche der zum Erzeugen der n-Gramm-Dateien verwendeten Linux-Befehle keine Zeilenumbrüche zu erfassen vermögen, können sie in den n-Gramm-Dateien leider nicht vorkommen. Die mittlere Satzlänge des originalen Leipziger Korpus beträgt 110,9827 Zeichen pro Satz. Dessen mittlere Satzlänge enthält 15,7301 Wörter pro Satz. Zeilenumbrüche kommen nach bekannten Statistiken je nach Textart nach etwa 4,5 bis 5,5 Sätzen vor. Aus den Angaben ergibt sich der Rest, allerdings nicht, wie häufig Zeilenumbrüche auf Zeilenumbrüche folgen bzw. auf Zeichen folgen bzw. auf Satzendezeichen folgen. Mit netten Grüßen Karl P. S. @Dennis: Sind die n-Gramm-Dateien zum unveränderten Leipziger Korpus schon im SVN: http://freenet-homepage.de/nexusboard/Neo/ngramme/1gramme.txt http://freenet-homepage.de/nexusboard/Neo/ngramme/2gramme.txt http://freenet-homepage.de/nexusboard/Neo/ngramme/3gramme.txt http://freenet-homepage.de/nexusboard/Neo/ngramme/1gramme.tab.txt http://freenet-homepage.de/nexusboard/Neo/ngramme/2grammetab.tab.txt http://freenet-homepage.de/nexusboard/Neo/ngramme/3grammetab.tab.txt
