Quantitative Linguistik
Refine
Document Type
- Article (2)
- Part of a Book (1)
Has Fulltext
- yes (3)
Is part of the Bibliography
- yes (3)
Keywords
- Sprachstatistik (2)
- Deutsch (1)
- Effizienz (1)
- Informationstheorie (1)
- Korpus <Linguistik> (1)
- Lexikographie (1)
- Schriftsprache (1)
- Sprachzeichen (1)
- Statistischer Test (1)
- Wort (1)
Publicationstate
Reviewstate
- Peer-Review (2)
- Verlags-Lektorat (1)
Publisher
- De Gruyter (3) (remove)
Information theory can be used to assess how efficiently a message is transmitted on the basis of different symbolic systems. In this paper, I estimate the information-theoretic efficiency of written language for parallel text data in more than 1000 different languages, both on the level of characters and on the level of words as information encoding units. The main results show that (i) the median efficiency is ∼29% on the character level and ∼45% on the word level, (ii) efficiency on both levels is strongly correlated with each other and (iii) efficiency tends to be higher for languages with more speakers.
In the first volume of Corpus Linguistics and Linguistic Theory, Gries (2005. Null-hypothesis significance testing of word frequencies: A follow-up on Kilgarriff. Corpus Linguistics and Linguistic Theory 1(2). doi:10.1515/ cllt.2005.1.2.277. http://www.degruyter.com/view/j/cllt.2005.1.issue-2/cllt.2005. 1.2.277/cllt.2005.1.2.277.xml: 285) asked whether corpus linguists should abandon null-hypothesis significance testing. In this paper, I want to revive this discussion by defending the argument that the assumptions that allow inferences about a given population – in this case about the studied languages – based on results observed in a sample – in this case a collection of naturally occurring language data – are not fulfilled. As a consequence, corpus linguists should indeed abandon null-hypothesis significance testing.
Das Lexikon menschlicher Sprachen basiert auf quantitativen Verteilungen, die sich am Zipfschen Gesetz orientieren: Wenige Lexeme werden extrem häufig verwendet und sehr, sehr viele Lexeme sind extrem selten. Auch funktional zusammenhängende Teilwortschätze wie Wörter einer bestimmten Wortart, Verben, die in einem bestimmten Argumentstrukturmuster auftreten, oder Komposita zu einem bestimmten Grundwort zeigen ähnliche Frequenzverteilungen, weisen aber auch jeweils typische Abweichungen von einer Zipfschen Verteilung auf. Zipfnahe Verteilungen sind charakteristisch für dynamische, selbstorganisierende Systeme, und Veränderungen im Wortschatz oder in Teilwortschätzen sind insofern auf der Basis solcher Verteilungen zu interpretieren. Der Artikel plädiert dafür, lexikologischen Sprachdokumentationen ein dynamisches Lexikonkonzept zugrunde zu legen, in dem die Verteilungscharakteristika als Grundlage der Wortschatzstruktur eine zentrale Rolle spielen.