TY - CHAP U1 - Buchbeitrag A1 - Brants, Thorsten ED - Kallmeyer, Werner ED - Zifonun, Gisela T1 - Statistisch basierte Sprachmodelle und maschinelle Übersetzung T2 - Sprachkorpora. Datenmengen und Erkenntnisfortschritt N2 - Statistische Methoden finden derzeit in der Sprachtechnologie vielfache Verwendung. Ein Grundgedanke dabei ist das Trainieren von Programmen auf große Mengen von Daten. Für das Trainieren von statistischen Sprachmodellen gilt zur Zeit das Motto „Je mehr Daten desto besser“. In unserem System zur maschinellen Übersetzung sehen wir eine fast konstante qualitative Verbesserung (gemessen als BLEU-Score) mit jeder Verdoppelung der monolingualen Trainingsdatenmenge. Selbst bei Mengen von ca. 20 Milliarden Wörtern aus Nachrichtentexten und ca. 200 Milliarden Wörtern aus Webseiten ist kein Abflachen der Lernkurve in Sicht. Dieser Artikel gibt kurze Einführungen in statistische maschinelle Übersetzung, die Evaluation von Übersetzungen mit dem BLEU-Score, und in statistische Sprachmodelle. Wir zeigen, welch starken Einfluß die Größe der Trainingsdaten des Sprachmodells auf die Übersetzungsqualität hat. Danach wird die Speicherung großer Datenmengen, das Trainieren in einer parallelen Architektur und die effiziente Verwendung der bis zu 1 Terabyte großen Modelle in der maschinellen Übersetzung beschrieben. T3 - Jahrbuch / Institut für Deutsche Sprache - _ 2006 KW - Maschinelle Übersetzung KW - Korpus Y1 - 2007 U6 - https://doi.org/10.1515/9783110439083-013 DO - https://doi.org/10.1515/9783110439083-013 SP - 235 EP - 248 PB - de Gruyter CY - Berlin [u.a.] ER -