Eine Vorstudie zur Eignung von Llama 3-8B für eine Sentimentanalyse
- Dieser Beitrag präsentiert eine Vorstudie, in der geprüft wird, ob sich die Open Source Generative Künstliche Intelligenz Llama-3-8B Q4_0 instruction-tuned dazu eignet, eine Sentimentanalyse durchzuführen. Für die Untersuchung wird ein kleiner Datensatz aus Anfragen zu geschlechtergerechten Schreibung genutzt. Die Qualität der automatischen Annotationen wird gemessen, indem das Inter-Annotator-Agreement zwischen Llama 3 und drei menschlichen Annotierenden berechnet wird. Eine qualitative Analyse der Begründungen von Llama 3 für vergebene Sentimentwerte, die von denen der manuellen Annotationen abweichen, zeigt, dass die Generative Künstliche Intelligenz dazu genutzt werden kann, Annotationsrichtlinien aufzustellen oder zu verfeinern. Allerdings kann die Vorstudie nicht zeigen, dass sich Llama 3 für eine Sentimentanalyse eignet.
Download full text files
Additional Services
Statistics
| Author: | Ngoc Duyen Tanja TuORCiDGND |
|---|---|
| URN: | urn:nbn:de:bsz:mh39-130493 |
| DOI: | https://doi.org/10.5281/zenodo.14943090 |
| Parent Title (Multiple languages): | Book of Abstracts. DHd 2025: Under Construction. 11. Jahrestagung des Verbands Digital Humanities im deutschsprachigen Raum e.V.. Universität Bielefeld und HSBI, 3.–7. März 2025, Bielefeld, Deutschland |
| Publisher: | Zenodo |
| Place of publication: | Genf |
| Editor: | Nils ReiterORCiDGND, Thomas HaiderORCiDGND, Daniel KababgiORCiD, Hendrik BuschmeierORCiDGND |
| Document Type: | Conference Proceeding |
| Language: | German |
| Year of first Publication: | 2025 |
| Date of Publication (online): | 2025/03/11 |
| Publishing Institution: | Leibniz-Institut für Deutsche Sprache (IDS) |
| Publicationstate: | Veröffentlichungsversion |
| Reviewstate: | Peer-Review |
| Tag: | Annotationsrichtlinien; Automatische Annotation; Geschlechtergerechte Schreibung; Inter-Annotator-Agreement; Llama 3-8B; Sentimentanalyse |
| GND Keyword: | Annotation; Computerlinguistik; Generative KI; Geschlechterforschung; Open Source |
| First Page: | 165 |
| Last Page: | 169 |
| DDC classes: | 400 Sprache / 400 Sprache, Linguistik |
| Open Access?: | ja |
| Linguistics-Classification: | Computerlinguistik |
| Program areas: | Grammatik |
| Licence (English): |  Creative Commons - Attribution 4.0 International |