Refine
Year of publication
Document Type
- Article (45)
- Part of a Book (41)
- Book (11)
- Conference Proceeding (4)
- Part of Periodical (3)
- Working Paper (3)
- Doctoral Thesis (1)
Language
- German (71)
- English (31)
- French (4)
- Multiple languages (1)
- Russian (1)
Keywords
- Multimodalität (108) (remove)
Publicationstate
- Veröffentlichungsversion (51)
- Zweitveröffentlichung (30)
- Postprint (14)
Reviewstate
Publisher
- de Gruyter (14)
- Verlag für Gesprächsforschung (9)
- Narr (7)
- Elsevier (6)
- Benjamins (4)
- Narr Francke Attempto (4)
- Springer (4)
- Frontiers Media SA (3)
- Volgograd State University (3)
- Winter (3)
Die Analyse prosodisch-phonetischer Ressourcen stand neben morpho-syntaktischen, lexiko-semantischen und diskurspragmatischen von Anfang an im Mittelpunkt interaktional-linguistischer Forschung. In den letzten Jahren sind darüber hinaus visuell wahrnehmbare Phänomene zunehmend Gegenstand interaktional-linguistischer Beschreibungen von Kommunikationssituationen geworden.
Der vorliegende Sammelband enthält neun Untersuchungen, die auf Korpora von Alltagsgesprächen oder institutionellen Interaktionssituationen (Unterricht und Parlamentsdebatten) in unterschiedlichen Sprachen (Deutsch, Englisch, Mandarin) beruhen. Die Beiträge zeigen, welchen Anteil unterschiedliche semiotische Ressourcen – interpretiert in ihrer holistischen Gestalt – an der Organisation sozialer Interaktionen haben. Der Band trägt somit dazu bei, die Rolle multimodaler Ressourcenbündel in ihrer Situiertheit, Prozesshaftigkeit und Kontextsensitivität für die Durchführung kommunikativer Aufgaben besser zu verstehen.
Our everyday lives in any social community are shaped by rules (e.g., Roughley 2019; Schmidt/Rakoczy 2019). Rules (in a broad sense) are interactionally negotiated, monitored, enforced, and serve as an ‘orientation value‘ in social life. If someone‘s behavior is treated as norm-violating or problematic in certain way, it may be therefore confronted. Confronting interlocutors can immediately stop, modify, or retrospectively reprimand the misconduct of others in a moralizing manner. Such confrontations of a problem behavior occur commonly in informal interactions. On the basis of our corpus, specifically in informal interactions at the table, I observed that, for example, in Polish, German and British English, direct confrontations occur on average at least once every three minutes. Participants design these actions in a variety of ways, but like everything in interaction, the design is not arbitrary (Sacks 1984; Enfield/Sidnell 2019). A recurrent feature of such turns is connecting misconduct to some more general concepts. It is evident from the data that e.g. speakers of German and Polish use ‘generally valid statements’ in problematic moments (cf. Küttner/Vatanen/Zinken 2022) to reach the closure of the problem sequence, also specifically dealing there with distribution of deontic and epistemic rights (Rogowska in prep.). I ask, when and for what purpose generality, that is, abstracting from a concrete behaviour, is used as a tool while confronting others. The focus is on sequential and linguistic features of abstracting in confronting moments in language comparison. What are the methods to achieve abstraction: i) defocusing the confronted, specific agent (cf. Zinken et al. 2021; Siewierska 2008), e.g. nur derjenige der dran ist der darf die bedingungen für den handel stellen (only the one whose turn it is may set the conditions for the trade); using ii) extreme case formulations (Pomerantz 1986), e.g. na siostrę zawsze można liczyć (you can always count on a sister); iii) referring to stable character traits, e.g. Matylda bardzo chetne by podala. (.) Ona jest taka skora do pomocy (Matylda would be very happy to pass (it to you). (.) She is so eager to help); or iv) broader categorizing of the given referent, e.g. do not build (.) do do not build do not build swastikas (when a) German guy is filming us? Sometimes, even several locus of abstraction are combined in the same turn. Can we identify language-specific and cross-linguistic patterns? What are the interactional consequences: enforcing a compliant behavior in the future, eliciting an apology or cognitively simplifying complex problems? From a comparative perspective, I ask whether going beyond the here-and-now while confronting others is a practice that unites speakers across languages and is thus a human cognitive strategy to display normativity. This ongoing study is based on new comparable data from four European languages from informal interaction during activities around the table (Kornfeld/Küttner/Zinken 2023; Küttner et al. in prep.). The phenomenon was coded systematically in each of the four languages as part of a larger, quantitatively oriented study with different questions (Küttner et al. submitted). In the talk, I will show exemplarily Polish and German evidence. I use the methods of Conversation Analysis (Sidnell/Stivers (eds.) 2012) and Interactional Linguistics (Imo/Lanwer 2019).
The ubiquity of smartphones has been recognised within conversation analysis as having an impact on conversational structures and on the participants’ interactional involvement. However, most of the previous studies have relied exclusively on video recordings of overall encounters and have not systematically considered what is taking place on the device. Due to the personal nature of smartphones and their small displays, onscreen activities are of limited visibility and are thus potentially opaque for both the co-present participants (“participant opacity”) and the researchers (“analytical opacity”). While opacity can be an inherent feature of smartphones in general, analytical opacity might not be desirable for research purposes. This chapter discusses how a recording set-up consisting of static cameras, wearable cameras and dynamic screen captures allowed us to address the analytical opacity of mobile devices. Excerpts from multi-source video data of everyday encounters will illustrate how the combination of multiple perspectives can increase the visibility of interactional phenomena, reveal new analytical objects and improve analytical granularity. More specifically, these examples will emphasise the analytical advantages and challenges of a combined recording set-up with regard to smartphone use as multiactivity, the role of the affordances of the mobile device, and the prototypicality and “naturalness” of the recorded practices.
This study investigates other-initiated repair and its embodied dimension in casual English as lingua franca (ELF) conversations, thereby contributing to the further understanding of multimodal repair practices in social interaction. Using multimodal conversation analysis, we focus on two types of restricted other-initiation of repair (OIR): partial repeats preceded or followed by the question word what (i.e., what X?/X what?) and copular interrogative clauses (i.e., what is X). Partial repeats with what produced with rising final intonation are consistently accompanied by a head poke and treated as relating to troubles in hearing, with the repair usually consisting of a repeat. In contrast to these partial repeats, copular interrogative clauses are produced with downward final intonation and accompanied by face-related embodied conduct. The what is X OIRs primarily target code-switched lexical items, the understanding of which is critical for maintaining the repair initiator’s involvement in the ongoing sequence. This study also contributes some general reflections on the possible complexity of OIR and repair practices from a multimodal perspective.
Die Untersuchung präsentiert die multimodale Struktur und Komplexität eines besonderen Kooperationstyps, dem »Pitching«. Das Pitching ist eine Mischform aus Arbeits- und Lehr-Lern-Diskurs, bei der vier Studierende gemeinsam mit zwei Dozenten Filmideen entwickeln. Als empirische Grundlage dient ein Datenkorpus von 72 Stunden Videoaufnahmen, das methodisch mit einer Kombination aus ethnographischer Gesprächsanalyse, ethnomethodologischer Konversationsanalyse und deren Erweiterung um eine multimodale Analyseperspektive untersucht wird. Dabei wird detailliert der komplexe Gesamtzusammenhang von Verbalität, Mimik, Gestik, Körperpositur und anderen körperlichen Ausdruckformen in seiner Bedeutung für die gemeinsame Arbeit ersichtlich. Basierend auf den beiden zentralen Konzepten »Kooperation« und »Handlungsschema« werden die spezifischen Situationsmerkmale des Pitchings und die typischen Aufgaben und Probleme rekonstruiert, die von den Interaktionsbeteiligten durch unterschiedliche Verfahren bearbeitet werden. Aufgrund einer longitudinalen Perspektive gibt die Untersuchung zudem Einblicke in die Professionalisierung der Studierenden im Studienverlauf.
In this chapter, we will investigate smartphone-based showing sequences in everyday social encounters, that is, moments in which a personal mobile device is used for presenting (audio-)visual content to co-present participants. Despite a growing interest in object-centred sequences and mundane technology use, detailed accounts of the sequential, multimodal, and material dimensions of showing sequences are lacking. Based on video data of social interactions in different languages and on the framework of multimodal interaction analysis, this chapter will explore the link between mobile device use and social practices. We will analyse how smartphone showers and their recipients coordinate the manipulation of a technological object with multiple courses of action, and reflect upon the fundamental complexity of this by-now routine joint activity.
Prediction is a central mechanism in the human language processing architecture. The psycholinguistic and neurolinguistic literature has seen a lively debate about what form prediction may take and what status it has for language processing in the human mind and brain. While predictions are a ubiquitous finding, the implications of these results for models of language processing differ. For instance, eyetracking data suggest that predictions may rely on sublexical orthographic information in natural reading, while electrophysiological data provide mixed evidence for form-based predictions during reading. Other research has revealed that humans rapidly adapt to text specifics and that their predictive capacity varies, broadly speaking, in accordance with inter- and intra-individual language proficiency, which cuts across the speaker groups (e.g. L1 vs. L2 speakers, skilled vs. untrained readers) traditionally used for experimental contrasts. There is therefore evidence that the kind and strength of linguistic predictions depend on (at least) three sources of variability in language processing: speaker, text genre and experimental method.
The aim of this Research Topic is to develop a better understanding of prediction in light of the three sources of variability in language processing, by providing an overview of state-of-the art research on predictive language processing and by bringing together research from various disciplines.
First, intra-and inter-individual differences and their influence on predictive processes remain underrepresented in experimental research on predictive processing. How do language users differ in their predictive abilities and strategies, and how are these differences shaped by e.g. biological, social and cultural factors?
Second, while language users experience great stylistic diversity in their daily language exposure and use, the majority of language processing research still focuses on a very constrained register of well-controlled sentences composed in the standard language. How are predictions shaped by extra- and meta-linguistic context, such as register/genre or accent/speaker identity, and how may this influence the processing of experimental items in another language or text variety?
Third, the Research Topic invites contributions that make use of a multi-method approach, such as combined behavioral and electrophysiological measures or experimental methods combined with measures extracted from corpus data. What opportunities and challenges do we face when integrating multiple approaches to examine linguistic, experimental and individual differences in human predictive capacity?
We welcome contributions from all areas of empirical psycho- and neurolinguistics, but contributions must explicitly address variability and variation in language and language processing. Relevant topics include individual differences and the impact of genre, modality, register and language variety. Contributions that go beyond single word and single sentence paradigms are especially desirable. Experimental, corpus-based, meta-analytic and review papers, as well as theoretical/opinion pieces are welcome; however, papers of the latter type should support their arguments with substantial empirical evidence from the literature. Particularly desirable are contributions which combine topics and/or methods, such as the impact of an individual's native dialect on processing of constructions that show variability in the standard language (e.g. choice of auxiliary, agreement of mass nouns, etc.) or experimental methods combined with measures extracted from corpus data such as information-theoretic surprisal.
This article investigates mundane photo taking practices with personal mobile devices in the co-presence of others, as well as “divergent” self-initiated smartphone use, thereby exploring the impact of everyday technologies on social interaction. Utilizing multimodal conversation analysis, we examined sequences in which young adults take pictures of food and drinks in restaurants and cafés. Although everyday interactions are abundant in opportunities for accomplishing food photography as a side activity, our data show that taking pictures is also often prioritized over other activities. Through a detailed sequential analysis of video recordings and dynamic screen captures of mobile devices, we illustrate how photographers orient to the momentary opportunities for and relevance of photo taking, that is, how they systematically organize their photographing with respect to the ongoing social encounter and the (projected) changes in the material environment. We investigate how the participants multimodally negotiate the “mainness” and “sideness” (Mondada, 2014) of situated food photography and describe some particular features of participants’ conduct in moments of mundane multiactivity.
In workplace settings, skilled participants cooperate on the basis of shared routines in smooth and often implicit ways. Our study shows how interactional histories provide the basis for routine coordination. We draw on theater rehearsals as a perspicuous setting for tracking interactional histories. In theater rehearsals, the process of building performing routines is in focus. Our study builds on collections of consecutive performances of the same instructional task coming from a corpus of video-recordings of 30 h of theater rehearsals of professional actors in German. Over time, instructions and their implementations are routinely coordinated by virtue of accumulated shared interactional experience: Instructions become shorter, the timing of responses becomes increasingly compacted and long negotiations are reduced to a two-part sequence of instruction and implementation. Overall, a routine of how to perform the scene emerges. Over interactional histories, patterns of projection of next actions emanating from instructions become reliable and can be used by respondents as sources for anticipating and performing relevant next actions. The study contributes to our understanding of how shared knowledge and routines accumulate over shared interactional experiences in publicly performed and reciprocally perceived ways and how this impinges on the efficiency of joint action.
Im vorliegenden Artikel wird ein Überblick über das von der DFG geförderte Projekt Zugänge zu multimodalen Korpora gesprochener Sprache – Vernetzung und zielgruppenspezifische Ausdifferenzierung (ZuMult) gegeben. Dabei wird zunächst auf die Sprachdaten und auf die technische Basis der Applikationen eingegangen, die dem Projekt zugrunde liegen. Im Anschluss werden die weiteren Beiträge in diesem Themenheft von KorDaF kurz vorgestellt. Übergeordnetes Thema von ZuMult ist die Verbesserung der Zugänglichkeit von digitalen mündlichen Sprachdaten für verschiedene Anwendungen und Zielgruppen, wobei der Fokus dieses Themenhefts auf Applikationen und Anwender:innen aus der Fremdsprachendidaktik und der DaF-/DaZ-Forschung und -Lehre liegt. Die einzelnen Beiträge beleuchten zentrale methodische und/oder technische Aspekte dieses Themas und beschreiben die Architektur und verschiedene prototypische Anwendungen, die das Projekt entwickelt hat.
Using multimodal conversation analysis, we investigate how novices learning the “inner body” acting technique in the context of a community theater project share their experiences of the bodily exercises through verbal and embodied conduct. We focus on how verbal description and bodily enactment of the experience mutually elaborate each other, and how the experienced sensorimotor and affective qualities are made to be witnessed and recognized by the others. Participants describe their experiences without naming qualities. Instead, a display of the experienced qualities is made accessible to others through coordinating the unfolding talk and bodily conduct. In particular, we show how grammatical and action projection is fulfilled by interconnected verbal and embodied conduct, with body movement and posture giving off ineffable experiential qualities. The moving body appears both as a source of the experience and as a resource for depicting perceived qualities to others; additional resources (non-specific person reference and gaze aversion) contribute to organizing the subjective and intersubjective layers of the reflection of the experiences. The study contributes to and extends recent research on sensoriality in interaction by focusing on phenomena of proprioception and interoception. The data are two cases drawn from 60 h of video-recordings made in the context of a devised community theater project. The data are in Finnish with English translations.
In Dresden entsteht für den Forschungshub Digital Herrnhut der Pilot für ein agiles und multimodales Referenzkorpus der nächsten Generation (Nex-Gen Agile Reference Corpus (NARC)) in Zusammenarbeit mit der Sächsischen Landesbibliothek - Staats- und Universitätsbibliothek Dresden (SLUB). Dieses Korpus (N-ARC1) wird textliche, kartografische und audiovisuelle Quellen sowie weitere Artefakte fassen, die, miteinander vernetzt, als offene Forschungsdaten (teil-)maschinell angereichert werden können und in einer virtuellen Forschungsumgebung öffentlich und nachnutzbar zur Verfügung stehen sollen. Dafür bieten die Dokumente und Spuren der Herrnhuter Brüdergemeine - eine am Beginn des 18. Jahrhundert gegründete und in nur wenigen Jahrzehnten weltumspannende Glaubensgemeinschaft - einen idealen Ausgangspunkt. Im Beitrag werde ich exemplarisch an einigen ausgewählten Beispielen aus den Themenkreisen Datenerschließung, Datenstrukturierung, -erweiterung und -vernetzung zwischen akademischer Lehre, Forschung und bürgerwissenschaftlicher Beteiligung die Herausforderungen illustrieren, vor denen wir derzeit in der Umsetzung in Dresden stehen.
Within a rapidly digitalising society, it is important to understand how the learning and teaching of digital skills play out in situ, particularly amongst older adults who acquire these skills later in life. This paper focuses on participants engaged in the process of learning digital skills in adult education courses. Using video recordings from adult education centres in Finland and Germany, we explore how students mobilise their teachers’ assistance when encountering problems with their smartphones, laptops or tablets. Prior research on social interaction has shown that assistance can be recruited through a variety of verbal and embodied formats. In this specific educational setting, participants can use complaints about their digital skills or mobile devices to obtain assistance. Utilising multimodal conversation analysis, we describe two basic sequence types involving students’ complaints, discuss their cross-linguistic characteristics, and reflect on their connection to this educational setting and digital devices.
In theater as a bodily-spatial art form, much emphasis is placed on the way actors perform movements in space as an important multimodal resource for creating meaning. In theater rehearsals, movements are created in series of directors' instructions and actors' implementations. Directors' instructions on how to conduct a movement often draw on embodied demonstrations in contrast to verbal descriptions. For instance, to instruct an actress to act like a school girl a director can use depictive (he demonstrates the expected behavior) instead of descriptive (“can you act like a school girl”) means. Drawing on a corpus of 400 h video recordings of rehearsal interactions in three German professional theater productions, from which we selected 265 cases, we examine ways to instruct movement-based actions in theater rehearsals. Using a multimodally extended ethnomethodological-conversation analytical approach, we focus on the multimodal details that constitute demonstrations as complex action types. For the present article, we have chosen nine instances, through which we aim to illuminate (1) The difference in using embodied demonstrations versus verbal descriptions to instruct; (2) typical ways directors combine verbal descriptions with embodied demonstrations in their instructions. First, we ask what constitutes a demonstration and what it achieves in comparison to verbal descriptions. Using a typical case, we illustrate four characteristics of demonstrations that all of the cases we studied share. Demonstrations (1) are embedded in instructional activities; (2) show and do not tell; (3) are responded to by emulating what was shown; (4) are rhetorically shaped to convey the instruction's focus. However, none of the 265 demonstrations we investigated were produced without verbal descriptions. In a second step we therefore ask in which typical ways verbal descriptions accompany embodied demonstrations when directors instruct actors how to play a scene. We distinguish four basic types. Verbal descriptions can be used (1) to build the demonstration itself; (2) to delineate a demonstration verbally within an instruction; (3) to indicate positive (what should be done) and negative (what should be avoided) versions of demonstrations; (4) as an independent means to describe the instruction's focus in addition to the demonstration. Our study contributes to research on how embodied resources are used to create meaning and how they combine with and depend on verbal resources.
Im Fokus dieses Beitrags steht ein Format, das die Eigenschaften der im Titel dieses Buches so genannten hypermedialen multimodalen Kommunikation in sich vereint: Let's Plays. Den Titel des Beitrags aufnehmend, könnte man hier auch von „vielen Fliegen“ und „einer Klappe“ sprechen, denn Let's Plays bieten eine ganze Reihe von Anknüpfungspunkten, die für den Deutschunterricht relevant sind, aber eben auch - und das ist so charakteristisch für den Einsatz digitaler Formate im Unterricht - anschlussfähig sind für andere Fächer und damit auch den Weg aufzeigen, in eine Schule 3.0, die sich aus starren Fächerkorsetten zu befreien sucht und die Gegebenheiten einer digitalisierten Lebens- und Arbeitswelt etwa in inter- und transdisziplinären Modulen und Projekten abbildet und berücksichtigt.
Insofern reichen auch die Möglichkeiten, Let's Plays in den Deutschunterricht einzubinden, die wir in diesem Beitrag aufzeigen werden, über das Fach Deutsch hinaus und sind dennoch mit Blick auf die Bildungsstandards in der Grundschule und in weiterführenden Schulen passfähig. Sie berühren die Haupt-Kompetenzbereiche: Sprechen und Zuhören, Schreiben, Lesen - Mit Texten und Medien umgehen und Sprache und Sprachgebrauch untersuchen. Diese in den Rahmenlehrplänen vorhandene analytische Trennung spiegelt sich im konkreten Material „Let's Play“ nicht wider. Wir werden deshalb auf einzelne Aspekte eingehen, die als Anregung für die Integration des Gegenstandes in den Deutschunterricht verstanden werden können.
This contribution investigates the use of the Czech particle jako (“like”/“as”) in naturally occurring conversations. Inspired by interactional research on unfinished or suspended utterances and on turn-final conjunctions and particles, the analysis aims to trace the possible development of jako from conjunction to a tag-like particle that can be exploited for mobilizing affiliative responses. Traditionally, jako has been described as conjunction used for comparing two elements or for providing a specification of a first element [“X (is) like Y”]. In spoken Czech, however, jako can be flexibly positioned within a speaking turn and does not seem to operate as a coordinating or hypotactic conjunction. As a result, prior studies have described jako as a polyfunctional particle. This article will try to shed light on the meaning of jako in spoken discourse by focusing on its apparent fuzzy or “filler” uses, i.e., when it is found in a mid-turn position in multi-unit turns and in the immediate vicinity of hesitations, pauses, and turn suspensions. Based on examples from mundane, video-recorded conversations and on a sequential and multimodal approach to social interaction, the analyses will first show that jako frequently frames discursive objects that co-participants should respond to. By using jako before a pause and concurrently adopting specific embodied displays, participants can more explicitly seek to mobilize responsive action. Moreover, as jako tends to cluster in multi-unit turns involving the formulation of subjective experience or stance, it can be shown to be specifically designed for mobilizing affiliative responses. Finally, it will be argued that the potential of jako to open up interactive turn spaces can be linked to the fundamental comparative semantics of the original conjunction.
Der Beitrag präsentiert Ergebnisse des Projekts „Deutsch im Beruf: Die sprachlich-kommunikative Integration der Flüchtlinge“, das am Leibniz-Institut für Deutsche Sprache (IDS) durchgeführt wird. Im ersten Teil wird auf die zweistufige Sprachstandserhebung in den allgemeinen Integrationskursen eingegangen, die zusammen mit dem Goethe-Institut umgesetzt wurde. Bei der ersten Erhebung zu Beginn der Kurse wurden mit einer Tabletumfrage die Sozialdaten und Sprachenbiografien der Teilnehmenden erhoben. Bei der zweiten Erhebung am Ende der gleichen Kurse ging es darum, mit Hilfe der Analyse von Sprachaufnahmen das erreichte mündliche Kompetenzniveau der Teilnehmenden zu ermitteln. Im zweiten Teil des Beitrags stellen wir Ergebnisse unserer ethnografisch-gesprächsanalytischen Feldstudien vor, die wir in verschiedenen Arbeitskontexten wie Qualifizierungsmaßnahmen, duale Berufsausbildung und betriebliche Praktika durchgeführt haben. In Bezug auf die zentralen Fragen zu gegenseitiger Verständigung und der Sprachvermittlung am Arbeitsplatz konnten wir im Rahmen unserer Ethnografien drei prototypische Praktiken feststellen, auf die wir näher eingehen: a) „kaum Verständnissicherung und Sprachvermittlung“, b) „ad-hoc Verständnissicherung und Sprachvermittlung“ und c) „systematische Verständnissicherung und Sprachvermittlung“. Des Weiteren fokussieren wir im letzten Teil des Beitrags die Ergebnisse unserer ethnografischen Langzeitstudie zu Betriebspraktika von studierenden Geflüchteten. Anhand der Untersuchung von Reparaturen zeigt sich hier die Entwicklung der interaktionalen Kompetenz eines L2-Sprechers, die mit einer zunehmenden kommunikativen Integration in Teamgesprächen einhergeht.
Die Jahrestagung der Arbeitsgemeinschaft Linguistische Pragmatik e. V. hat auch in diesem Jahr pandemiebedingt online stattgefunden. Dem diesjährigen Tagungsthema „Pragmatik multimodal“ bot dieses Online-Setting daher eine besonders interessante Umgebung, da einige Vorträge Aspekte genau solcher Interaktionsrahmen näher beleuchten sollten. Aber nicht nur angesichts der immer noch fortschreitenden Digitalisierung hat sich der multimodale Betrachtungswinkel auch in anderen linguistischen Disziplinen zunehmend etabliert: So beschäftigen sich unter anderem die Text- und Diskursanalyse (u. a. Bucher 2011; Klug 2016; Mayr 2016), die Interaktionslinguistik (u. a. Hausendorf et al. 2016), die Kognitionslinguistik (u. a. Zima/Brône 2015; Spieß 2016) oder auch die Grammatikforschung (u. a. Fricke 2012; Schoonjans 2018) mit multimodalen Phänomenen im Rahmen ihrer je eigenen Erkenntnisinteressen. Um die Vielfalt dieser Erkenntnisinteressen, der diversen Ausprägungen des Phänomenbereichs und der methodischen Ansätze zur angemessenen Begegnung dieser Komplexität zu präsentieren und miteinander ins Gespräch zu bringen, haben Lars Bülow, Susanne Kabatnik, Marie-Luis Merten und Robert Mroczynski als Organisationsteam zu dieser Tagung eingeladen. Die thematische Bandbreite der Vorträge sollte dabei eine ausgewogene Grundlage bieten, um aktuelle Tendenzen und Herausforderungen einer pragmatisch fokussierten Erforschung multimodaler Kommunikation zu diskutieren und damit zur Verortung der linguistischen Pragmatik im Kontext anderer linguistischer Teildisziplinen beizutragen. Entsprechend veranschaulichten manche Vorträge eine eher disziplinspezifische Perspektive, andere stellten Überlegungen zu eher integrierenden Ansätzen vor.
In der Physiotherapie erlernen Patienten Übungen, um Erkrankungen des Bewegungsapparats durch Bewegung zu therapieren. Angeleitet werden sie hierzu durch multimodale Instruktionen, die als längere Instruktions‚sequenzen‘ aus Direktiva, Korrekturen und Accounts gestaltet sind. Anhand eines Korpus aus Videoaufnahmen erforscht diese Arbeit erstmals die Instruktionspraxis in authentischen Physiotherapiesitzungen in Bezug auf die verbalen und leiblichen Praktiken des Instruierens.
Der Fokus der multimodalen Analysen liegt auf den Einsatzbedingungen und spezifischen instruktionalen Leistungen der einzelnen Handlungsressourcen (wie Sprache, Blick, Gestik, Demonstration, Berührung etc.) und ihrer genauen Realisierung. Insbesondere in der Erforschung taktiler Praktiken betritt die Studie Neuland in der Interaktionsanalyse. Die lückenlose Aufnahme ganzer Physiotherapieprozesse ermöglicht zudem Einblicke in die longitudinale Entwicklung von Instruktionsprozessen und deren Veränderung in Abhängigkeit vom ‚common ground‘ innerhalb längerer Interaktionsgeschichten.
Erzählen multimodal
(2018)
Le chevauchement, c’est-à-dire la prise de parole simultanée d'au moins deux locuteurs, est un phénomène omniprésent dans la conversation. Inscrit dans le cadre théorique de l'Analyse Conversationnelle et de la linguistique interactionnelle, notre travail se penche sur la parole simultanée considérée comme un phénomène systématique et ordonné qui appartient aux pratiques routinières de l'alternance des tours de parole. Nos analyses se fondent sur des transcriptions d'enregistrements vidéo de données interactionnelles naturelles, des conversations ordinaires en français et en allemand. Nous ne portons pas uniquement un regard sur le chevauchement en tant que phénomène audible, mais le concevons comme une pratique incarnée en interaction, qui est également implémentée par des ressources visibles. À l'analyse séquentielle s'ajoute donc une analyse multimodale, qui nous permet de tenir compte des constellations participatives dynamiques lors du chevauchement. Le travail analytique se focalise sur trois phénomènes spécifiques dans lesquels la parole simultanée intervient de manière significative : d'abord l'auto-répétition faisant suite au chevauchement, ensuite l'abandon de tour de parole d'un locuteur lors de la parole simultanée et enfin la complétion différée, la continuation retardée d'une prise de parole en chevauchement avec l'intervention d'un interlocuteur. Cette thèse contribue à une compréhension approfondie de ces trois phénomènes et démontre que l'organisation de la parole simultanée est étroitement liée à la gestion de trajectoires d'action complexes et de cadres participatifs dynamiques.
The theme of the AFinLA 2020 Yearbook Methodological turns in applied language studies is discussed in this introductory article from three interrelated perspectives, variously addressed in the three plenary presentations at the AFinLA Autumn Symposium 2019 as well as in the thirteen contributions to the yearbook. In the first set of articles presented, the authors examine the role and impact of technological development on the study of multimodal digital and non-digital contexts and discourses and ensuing new methods. The second set of studies in the yearbook revisits issues of language proficiency, critically discussing relevant concepts and approaches. The third set of articles explores participation and participatory research approaches, reflecting on the roles of the researcher and the researched community.
Ce chapitre s’intéresse à la façon dont les changements de langue dans des réunions sont gérés par les parties co-présentes qui les traitent comme posant des problèmes de participation, en s’orientant vers le fait que le choix d’une langue particulière peut avoir comme effet d’augmenter ou bien de diminuer la participation de certains ou de tous les membres co-présents. Le choix d’une langue plutôt que d’une autre est étudié comme répondant à un problème des membres et comme une décision prise par eux, exhibant la manière dont ils s’orientent vers ses conséquences et dont ils élaborent sa justification et légitimité. Dans ce sens, le choix de l’anglais ou de plusieurs langues co-existantes voire alternantes n’a pas en soi une valeur positive ou négative en termes de participation, d’adéquation ou d’efficacité, mais a une valeur qui est située et occasionnée, dépendant des formats spécifiques de participation, des compétences reconnues localement et de la manière dont l’interaction est organisée. Afin d’explorer de manière systématique cette articulation entre choix de langue et participation, nous allons nous pencher sur un phénomène particulier et récurrent. Il s’agit de l’annonce qui projette un changement de langue et qui peut prendre une forme telle que “now we will switch into English so that you can participate”. Nous l’analyserons en tenant compte de la position séquentielle où elle est produite, de son format, de la façon dont elle est adressée à une partie ou à la totalité des co-présents, et de l’action spécifique qui y est accomplie. Nous étudierons aussi la manière dont elle est reçue, ses effets sur le cadre de participation, ainsi que les catégorisations qui en découlent. On montrera ainsi la relation de configuration mutuelle qui s’établit entre choix de langue et cadre de participation. Nos analyses seront développées sur la base de plusieurs corpus de rencontres professionnelles internationales enregistrées en audio et en vidéo sur plusieurs terrains. Les données vidéo nous invitent à considérer non seulement la dimension linguistique des cadres participatifs et des changements de langue, mais aussi leur organisation multimodale : l’organisation incarnée (embodied) du code-switching n’a pratiquement pas encore été explorée et la participation incarnée reste sous-étudiée, ainsi que son lien avec des espaces interactionnels spécifiques. Ce chapitre montre que les détails multimodaux sont cruciaux pour la compréhension des liens entre plurilinguisme et participation en tant que dynamiques occasionnées, contingentes et émergentes.
This paper aims at contributing to the analysis of overlaps in turns-at-talk from both a sequential and a multimodal perspective. Overlaps have been studied within Conversation Analysis by focusing mainly on verbal and vocal resources; taking into account multimodal resources such as gesture, bodily posture, and gaze contributes to a better understanding of participants’ orientations to the sequential organization of overlapping talk and their management of speakership. First, we introduce the way in which overlaps have been studied in Conversation Analysis, mainly by Jefferson (1973, 1983, 2004) and Schegloff (2000); then we propose possible implications of their multimodal analysis. In order to demonstrate that speakers systematically orient to the overlap onset and resolution we analyze the multimodal conduct of overlapped speakers. Findings show methodical variations in trajectories of overlap resolution: speakers’ gestures in overlap display themselves as maintaining or withdrawing their turn, thereby exhibiting the speakership achieved and negotiated during overlap.
Cet article se penche sur un épisode radiophonique durant lequel deux animateurs effectuent un coming out hétérosexuel à l’occasion de la journée internationale du coming out (11 octobre). Dans une perspective issue de l’analyse conversationnelle d’inspiration ethnométhodologique, il étudie une collection d’occurrences de coming out, permettant non seulement d’identifier un format séquentiel récurrent et la manière dont il contribue à l’efficacité de la pratique, mais aussi de réfléchir à la façon dont il peut être utilisé dans différents contextes sociaux, notamment médiatisés et médiatiques. En particulier, l’article montre comment la pratique est au service d’une émission radiophonique sur le coming out et prépare la transition vers le traitement de l’homosexualité à la radio. Grâce à un enregistrement vidéo du travail des animateurs dans le studio de radio, l’article décrit la façon dont le thème de la journée internationale du coming out est fabriqué et orchestré dans les coulisses de la radio et sur les ondes. Ce faisant, il montre la contribution d’une analyse conversationnelle à l’approche du coming out dans les études de genre – où la pratique est largement discutée mais sans être analysée sur la base d’occurrences documentées. L’article revient ainsi sur l’épistémologie du closet chère à Eve Sedgwick, en proposant une anatomie du coming out en contexte médiatisé, qui en éclaire les enjeux non seulement épistémiques mais aussi de normativisation, publicisation et spectacularisation.
Dropping out of overlap is a frequent practice for overlap resolution (Schegloff, 2000, Jefferson, 2004) in interaction, as it re-establishes the “one-at-a-time” principle of the turn-taking system (Sacks et al., 1974). While it is appropriate to analyze the practice of dropping out of overlap as a verbal and thus audible phenomenon, a close look at video data reveals that withdrawing from an action trajectory is also an embodied practice. Based on a fine-grained multimodal analysis (C. Goodwin, 1981, Mondada, 2007a, Mondada, 2007b) of videotaped interactions in French, this paper illustrates how overlapped speakers organize the momentary suspension of their action trajectory in visible ways. Indeed, participants do not instantly withdraw from their action trajectory when they stop talking. By using bodily resources, they are able to display continuous monitoring of the availability of their co-participants and of the next possible slot for resuming their suspended action. I therefore suggest analyzing the drop out of overlap as the first step of withdrawal, as definitive, embodied withdrawal can occur later, or, in case of resumption, not at all. Consequently, my paper analyzes withdrawal as a good example of strengthening the analytic concept of embodiment with regard to turn-taking practices in interaction.
Dieser Beitrag widmet sich der Analyse des Zusammenspiels sprachlich-hörbarer und sichtbar-kinesischer Praktiken, die beim alltäglichen Erzählen eingesetzt werden. Im Rahmen einer konversationsanalytisch basierten Untersuchung von Videoaufnahmen deutscher Alltagsgespräche wird die Bandbreite alltäglicher narrativer Praktiken in der face-to-face-Kommunikation aufgezeigt. Dies erfolgt exemplarisch anhand zweier Beispiele, in denen Einstieg, Ausgestaltung sowie Beendigung der Erzählung unter unterschiedlichen sequentiellen und multimodalen Bedingungen vollzogen werden. Die Untersuchung unterstreicht einerseits die Indexikalität alltäglicher narrativer Praktiken, andererseits die Notwendigkeit einer interaktionalen Narratologie, die diese Praktiken als Produkt sprachlicher, verkörperter und räumlicher Ressourcen sowie der Zusammenarbeit mehrerer Teilnehmer analysiert und konzeptualisiert.
Der vorliegende Beitrag befasst sich mit Erzählen in seiner massenmedialen Vermittlung in einer Unterhaltungsendung im Fernsehen. Ziel ist es, anhand einer multimodalen und medienlinguistischen Analyse eines exemplarischen Ausschnitts aus der TV-Unterhaltungssendung "Zimmer frei" die Spezifik solcher massenmedialen Erzählungen herauszuarbeiten. Zum einen wird aufgezeigt, dass sich massenmediales Erzählen in seinem sequenziellen Auf- und Ausbau aufgrund seiner Einbindung in ein mediales Unterhaltungsformat in systematischer Weise von Alltagserzählungen unterscheidet. Zum anderen wird veranschaulicht, inwieweit theatrale Inszenierungs- und Aufführungsmittel der Fernsehproduktion die Aktivität des Erzählens mitkonstituieren. Erzählungen im Fernsehen, so die analyseleitende Prämisse, können nicht schlicht als durch das Fernsehen übertragene narrative Aktivitäten konzeptualisiert werden. Vielmehr sind sie durch eine mediale Theatralität mitgeprägt. (Para)verbale, körperliche und mediale Inszenierungs- und Aufführungsverfahren greifen konzertiert ineinander, um Erzählungen als "dramas to an audience" (Goffman 1974:508) hervorzubringen.
Bisherige linguistische Studien zum mündlichen Erzählen beziehen sich vornehmlich auf die Beschreibung verbaler und vokaler Verfahren. Erzählen findet jedoch häufig unter den Bedingungen der zeitlich-räumlichen Ko-Präsenz der SprecherInnen statt, die den Gebrauch von körperlichen und materiellen Ressourcen ermöglicht. Der vorliegende einleitende Beitrag des Themenheftes modelliert Erzählen daher als körpergebundene und verkörperlichte Praktik, die es im Rahmen von interaktionalen und sequenzorientierten Analyseansätzen zu beschreiben gilt. Im Anschluss an die Darstellung von Entwicklungslinien der soziolinguistischen und interaktional-gesprächsanalytischen Untersuchung konversationellen Erzählens wird ein Überblick über bisherige Befunde zur multimodalen Ausgestaltung des Erzählens in der face-to-face-Interaktion gegeben. Abschließend werden grundlegende Fragestellungen skizziert, deren Beantwortung im Rahmen einer multimodalen Erzählanalyse die tatsächliche Alltagspraxis des Erzählens umfassender zu erschließen vermag.
This study offers a contribution to the reception analysis of TV documentaries by focusing on viewer opinions expressed on social media. It analyses German and English comments from YouTube and Facebook in order to find out what aspects of documentaries the audience comments on. More specifically, it describes how the viewers evaluate strategies that the producers use for simplifying complex content while still creating an appealing and entertaining media product. The results imply that most viewers appreciate informative shows that are entertaining at the same time. They also show that viewers tend to focus on the music and image, rather than on the spoken text, and that documentaries where nature plays an important role are judged more positively than science and history documentaries.
Dieser Beitrag beschäftigt sich mit dem Einsatz von dialektalen Merkmalen in Werbespots für den deutschen und österreichischen Markt sowie mit seinen Funktionen am Beispiel von Iglo (Lebensmittelbranche, Tiefkühlkost). Im Zentrum stehen dabei folgende Fragen: Welche dialektalen Merkmale welcher sprachlichen Beschreibungsebenen (Phonetik/Phonologie, Morphologie, Lexik) werden in welchen Textteilen der Spots verwendet? Wird dabei auch multimodal und multisensorisch auf die betreffende Region Bezug genommen? Die Analysen zeigen auch, inwiefern sich der Gebrauch dieser Merkmale in den deutschen und österreichischen Spots unterscheidet, und ob der Dialektgebrauch in den Werbespots (Auswahl der Merkmale, Kontexte/Gesprächssituationen) mit den Ergebnissen von Studien zum Gebrauch und zur Wahrnehmung von Dialekten im Allgemeinen übereinstimmt.
Der Beitrag widmet sich der Ausgestaltung von Instruktionen und Aufforderungen zum rückwärts Einparken im theoretischen und praktischen Fahrschulunterricht in Abhängigkeit von den Eigenschaften der jeweiligen Unterrichtssituation. Verglichen werden dazu Instruktionssequenzen aus drei Vermittlungstypen: 1. die Instruktion anhand einer software-gestützten Einparksimulation im Theorie-Unterricht, 2. die Instruktion anhand einer Modellautodemonstration im Fahrschulauto, und 3. der direkt angeschlossene erste praktische Übungsvorgang. Eine Untersuchung der grammatischen Ausgestaltung der Instruktionen und der verkörperten Handlungen zeigt eine besondere Funktion der Modellautodemonstration: Dieser Vermittlungstyp vereint Aspekte sowohl der Unterrichtssituation im Fahrschulraum als auch im fahrenden Auto. Die Orientierungspunkte am Modell werden mit denen des 'realen' Autos und seiner Umgebung verbunden. Dabei offenbart sich in den Instruktionen und Aufforderungen ein Kontinuum von Theorie und Praxis, dessen Ausprägungen maßgeblich von der (Ent-)Kopplung bezüglich der Anwendungssituation und der (Nicht-)Mobilität des Autos abhängen. Die Untersuchung zeigt, wie grammatische und multimodale Formen an ihren lokalen und situativen Kontext angepasst und interpretiert werden.
Das vorliegende Themenheft bündelt theoretische, methodologische und empirische Debatten an der Schnittstelle von Zeichen, Zeichensystem, Zeichenmodalität/-materialität und Medium und möchte sie weiterführen. Die Beiträge befassen sich mit Fragen der begrifflichen und empirischen Grenzziehung zwischen Zeichen und Medien und liefern so Impulse für die Erforschung des Wechselspiels der Gegenstandsbereiche Zeichenhaftigkeit, Medialität und Materialität als Manifestation multimodaler Kommunikation. Ziel des Heftes ist es, die theoretischen und empirischen Diskussionen um Multimodalität und Medialität stärker aufeinander zu beziehen.
This study investigates how driving school instructors adapt their instructions to constraints and affordances of different activity types. Adopting a Conversation Analytic approach and building on a comparative corpus of theoretical and practical driving lessons in German, it compares sequences of instructions of the execution of the “shoulder check” (i.e., checking the blind spot) in stationary theoretical versus mobile practical driving lessons. In theoretical lessons, the instructor uses vivid and humorous embodied instructions. In practical driving lessons, the instructor orients to the complex multi‐activity and delivers instructions in a succinct manner, considering the students’ previous knowledge and the embeddedness into the global tasks. The paper shows how instructional practices are sensitive to contextual contingencies which they reflect and treat by their situated design.
Using video-recordings from one day of a theater project for young adults, this paper investigates how the meaning of novel verbal expressions is interactionally constituted and elaborated over the interactional history of a series of activities. We examine how the theater director introduces and instructs the group in the Chekhovian technique of acting, which is based on “imagining with the body,” and how the imaginary elements of the technique are “brought into existence” in the language of the instructions. By tracking shifts in the instructor’s use of the key expressions invisible/imaginary/inner body or movement through a series of exercises, we demonstrate how they are increasingly treated as real and perceivable bodily conduct. The analyses focus on the instructor’s attribution of factual and agentive properties to these expressions, and the changes that these properties undergo over the series of instructions. This case demonstrates the significance of longitudinal processes for the establishment of shared meaning in social interaction. The study thereby contributes to the field of interactional semantics and to longitudinal studies of social interaction.
Mögliche Erklärungshorizonte für grammatische Variation in Übersetzungen können durch kontrastive Unterschiede sowie Textsortenkonventionen für die involvierten Sprachen hergeleitet werden. Weiterhin ausschlaggebend sind die vom Übersetzer verwendeten Übersetzungsstrategien, wie Simplifizierung und Explizierung, die mit Methoden der Korpuslinguistik und der Translationsprozessforschung untersucht werden können. Letztere betreffend liefert das Eyetracking Hinweise auf Problemstellen im Ausgangstext; das Keylogging lässt Rückschlüsse auf die Problemlösestrategien im Zieltext zu. Durch die Triangulation der gewonnenen Produkt- und Prozessdaten kann einerseits der ganzheitliche Übersetzungsprozess und andererseits die Produktion der grammatischen Variation empirisch aufgearbeitet werden.
Der Beitrag beschreibt einen Ansatz zur Qualitätsbewertung multimodaler Hypertexte und internetbasierter Interaktion. Das Modell fußt auf Ansätzen zur Bewertung von Textqualität in linear organisierten Schrifttexten, insbesondere dem Zürcher Textqualitätenraster, das bereits im prädigitalen Zeitalter für eine große empirische Untersuchung zum Schreibgebrauch in Aufsatztexten genutzt wurde. Der Beitrag beschreibt und begründet, welche Erweiterungen für multimodale Hypertexte und internetbasierte Interaktion erforderlich sind. Vertiefend wird dabei das Konzept der Kohärenz behandelt, das für lineare Texte und für Hypertexte gleichermaßen relevant ist. An Beispielen wird gezeigt, wie Hyperlinks als digitale Kohärenzbildungshilfen bei der Hypertextproduktion und beim interaktionsorientierten Schreiben eingesetzt werden. Die Kohärenzanalyse wird erweitert um zwei neue Aspekte: 1) die interaktionale Kohärenz zwischen Beiträgen verschiedener Personen in der digitalen Interaktion (z. B. beim Chatten oder in Online-Diskussionen) und 2) die multimodale Kohärenz zwischen Text-, Bild-, Audio- und Videoelementen.
Der Beitrag behandelt die Frage, wie sich das spezifisch Neue internetbasierter Kommunikation unter linguistischer Perspektive fassen und in Traditionen des sprachlichen Handelns einordnen lässt. Es wird gezeigt, dass sich die internetbasierte Kommunikation weder als Interaktion noch als Textkommunikation hinreichend beschreiben lasst, zugleich aber Merkmale mit beiden Formen teilt. Mit dem Konzept der Textformen-basierten Interaktion wird ein Vorschlag formuliert, wie dieses Dilemma aufgelöst werden kann: Das Innovationspotenzial internetbasierter Kommunikationstechnologien liegt gerade darin, dass diese durch Indienstnahme von Textformen die Möglichkeiten von Interaktion erweitern. Das hat einerseits Konsequenzen fur die linguistische Analyse und lässt sich andererseits fruchtbar machen fur die Entwicklung von Standards fur die Repräsentation von Korpora.
A large database is a desirable basis for multimodal analysis. The development of more elaborate methods, data banks, and tools for a stronger empirical grounding of multimodal analysis is a prevailing topic within multimodality. Prereq- uisite for this are corpora for multimodal data. Our contribution aims at developing a proposal for gathering and building multimodal corpora of audio-visual social media data, predominantly YouTube data.Our contribution has two parts: First we outline a participation framework which is able to represent the complexity of YouTube communication. To this end we ‘dissect’ the different communicative and multimodal layers YouTube consists of. Besides the Video performance YouTube also integrates comments, social media operators, commercials, and announcements for further YouTube Videos. The data consists of various media and modes and is interactively engaged in various discourses. Hence, it is rather difficult to decide what can be considered as a basic communicative unit (or a ‘turn’) and how it can be mapped. Another decision to be made is which elements are of higher priority than others, thus have to be integrated in an adequate transcription format. We illustrate our conceptual considerations on the example of so-called L e t’s Plays, which are supposed to present and comment Computer gaming processes.The second part is devoted to corpus building. Most previous studies either worked with ad hoc data samples or outlined data mining and data sampling strategies. Our main aim is to delineate in a systematic way and based on the conceptual outline in the first part necessary elements which should be part of a YouTube corpus. To this end we describe in a first Step which components (e.g., the Video itself, the comments, the metadata, etc.) should be captured. ln a second Step we outline why and which relations (e.g., screen appearances, hypertextual struc- tures, etc.) are worth to get part of the corpus. In sum, our contribution aims at outlining a proposal for gathering and systematizing multimodal data, specifically audio-visual social media data, in a corpus derived from a conceptual modeling of important communicative processes of the research object itself.
The article starts by outlining the theoretical and conceptual foundations in the field of multimodal interaction analysis, which, based on its spatiallinguistic orientation, deals with the meaning of space for the constitution of social meaning. Conceptually, we refer to the ideas of architecture-forinteraction and social topography. Empirically, we look towards the entire range of visually perceptible physical expressions of the Communion participants. We also focus on the spatial prerequisites and the space-related knowledge of the visitors, which becomes evident in their situational behaviour. From our point of view, Communion is not only a ritual in worship but also a task of coordination and positioning. We analyse video excerpts of two Communions in Lutheran-Protestant worship. The central question is: How do the people who hand out the sacrament to the participants take part in the procedure themselves (self-supply)? The video excerpts are from Germany(Rimbach and Zotzenbach, South Hesse). We see self-supply as a situational reproduction of institutional structures and relevancies. Methodologically, we first analyse an example in detail, in which we elaborate constitutive aspects of self-supply and the associated implications in the sense of an arising communitisation of the faithful. The subsequent analysis is carried out from a comparative perspective with reference to the results already obtained. The analyses lead to two basic models. Firstly, we identified a two-phase model in which first the churchgoers and then separately the institution’s representatives celebrate Communion. Structurally linked to this model is the is the diverging presence of those who have already completed the ritual, divergence resulting in two ensembles with their respective interaction space. The churchgoers watch the pastor and his assistants perform the ritual themselves. Secondly, we were able to formulate an integrative model in which the pastor celebrates Communion as one of the community. This preserves cohesion among all churchgoers and there is no ritual display of the institution’s representatives as in the two-phase model. As for model-shaping factors, two aspects become particularly clear: The first are the opportunities which the architecture-forinteraction, i.e. the concrete space for the Communion, provides. The second is the number of participants who perform the ceremony under these spatial conditions. Both aspects have a direct impact on the organisation of Communion, the movement within the church space and, indirectly, on the structure and implications of self-supply.
Based on German speaking data from various activity types, the range of multimodal resources used to construct turn-beginnings is reviewed. It is claimed that participants in talk-in-interaction need to deal with four tasks in order to construct a turn which precisely fits the interactional moment of its production:
1. Achieve joint orientation: The accomplishment of the socio-spatial prerequisites necessary for producing a turn which is to become part of the participants’ common ground.
2. Display uptake: Next speaker needs to display his/her understanding of the interaction so far as the backdrop on which the production of the upcoming turn is based.
3. Deal with projections from prior talk: The speaker has to deal with projections which have been established by (the) previous turn(s) with respect to the upcoming turn.
4. Project properties of turn-in-progress: The speaker needs to orient the recipient to properties of the turn s/he is about to produce.
Turn-design thus can be seen to be informed by tasks related to the multimodal, embodied, and interactive contingencies of online-construction of turns. The four tasks are ordered in terms of prior tasks providing the prerequisite for accomplishing a later task.
How do people communicate in mobile settings of interaction? How does mobility affect the way we speak? How does mobility exert influence on the manner in which talk itself is consequential for how we move in space? Recently, questions of this sort have attracted increasing attention in the human and social sciences. This Special Issue contributes to the emerging body of studies on mobility and talk by inspecting an ordinary and ubiquitous phenomenon in which communication among mobile participants is paramount: participation in traffic. This editorial presents previous work on mobility in natural settings, as carried out by interactionally oriented researchers. It also shows how the investigation into traffic participation adds new perspectives to research on language and communication.
Interaktionsanalytische Zugänge zu medienvermittelter Kommunikation. Zur Einleitung in diesen Band
(2019)
Bild-Makros bzw. 4Memes sind ein präsentes Internetphänomen im Social Web. In sozialen Netzwerken wie Facebook werden diese multimodalen, kulturell geprägten Kommunikate nicht nur veröffentlicht und verbreitet, sondern zudem von NutzerInnen u.a. in Form von Kommentaren rezipiert und interaktiv ausgehandelt. Diese kommunikative Einheit aus einem einerseits eindimensionalen, statischen Kommunikat mit einer andererseits dynamischen, interaktiven Aushandlung stellt dabei eine interdisziplinäre Herausforderung für eine differenzierte (medien-)linguistische Betrachtung dar, der mit einer Kombination von Sehflächenanalyse, Gattungsanalyse sowie Konversations- bzw. Gesprächsanalyse begegnet wird. In dieser Arbeit wird anhand erhobener Daten von Facebook-Gemeinschaftsseiten gezeigt, welche formalen, syntaktisch-semantischen und pragmatisch-funktionalen Mechanismen bei der Kombination der Zeichenressourcen Text und Bild zur Bedeutungskonstitution des (humoristischen) Medienprodukts zusammenspielen, dessen Verständnis auch auf intertextuellem, kulturellem (Kontext- und Gattungs)Wissen basiert. Im Anschluss daran wird dargelegt, wie sich über geteiltes Wissen verfügende RezipientInnen mit technischen und sprachlichen Folgehandlungen auf ein Bild-Makro beziehen und welche sprachlichen Mittel und kommunikativen Verfahren wie Fokussierungsaufforderung und -bestätigung, Bewertung und Übertragung auf die gemeinsame Lebenswelt Anwendung finden.
This paper asks whether and in which ways managing coordination tasks in traffic involve the accomplishment of intersubjectivity. Taking instances of coordinating passing an obstacle with oncoming traffic as the empirical case, four different practices were found.
1. Intersubjectivity can be presupposed by expecting others to stick to the traffic code and other mutually shared expectations.
2. Intersubjective solutions emerge step by step by mutual responsive-anticipatory adaptation of driving decisions.
3. Intersubjectivity can be accomplished by explicit interactive negotiation of passages.
4. Coordination problems can be solved without relying on intersubjectivity by unilateral, responsive-anticipatory adaptation to others’ behaviors.
Wir diskutieren in diesem Beitrag Implikationen, mit denen man zu tun bekommt, wenn man kleinste Formen situativer Vergesellschaftung – wir sprechen von kommunikativen Minimalformen – untersucht. Kommunikative Minimalformen sind kurzzeitige, nur wenige Sekunden dauernde, gemeinsam konstituierte Interaktionsereignisse. Ungeachtet ihrer Kürze weisen sie zum einen eine komplexe Interaktionsstruktur auf. Zum anderen besitzen sie auch eine klare soziale Implikation und eigene Wertigkeit. In dem hier untersuchten Fall, bei dem Passanten durch ein offenes Fenster in einen Privatraum blicken und dabei ertappt werden, zeigt sich diese soziale Implikativität als moralische Kommunikation im Sinne der interaktiven Bearbeitung eigenen Fehlverhaltens.
Der Beitrag beschäftigt sich mit der Interaktion zwischen blinden und sehenden Personen bei der kooperativen Anfertigung einer Audiodeskription. Eine Audio-deskription ist die verbale Beschreibung visueller Inhalte für Sehbeeinträchtigte und stellt eine Sonderform der Translation dar. Auf der Basis von Videodaten wird die Kooperation eines Dreierteams mit den Verfahren der multimodalen Interaktionsanalyse untersucht. Ein Charakteristikum dieser Kooperation besteht darin, dass eines der Teammitglieder blind ist und die beiden anderen sehen können. Das Erkenntnisinteresse richtet sich besonders auf die professionelle Beteiligung des blinden Teammitglieds an der Interaktion. Die Analyse zeigt, wie Blindheit als Ressource für die kooperative Herstellung der Audiodeskription genutzt wird und wie die Beteiligten in einer visuell asymmetrischen Situation interagieren. Der Beitrag ist eine der seltenen Untersuchungen, die sich mit professioneller Interaktion zwischen Blinden und Sehenden beschäftigen. Er diskutiert Aspekte von genereller Relevanz für die weitere Entwicklung der empirischen Interaktionsforschung, vor allem in Bezug auf eine Erweiterung von Beteiligungsperspektiven in Richtung Inklusion.
In den letzten Jahrzehnten hat sich die Perspektive auf den Gegenstand der Sprachwissenschaft immer wieder verändert, vor allem gegen überkommene Reduktionismen erweitert. Hier soll auf Entwicklungen im Zusammenhang mit der Herausbildung einer „Medienlinguistik“ eingegangen werden, die (allgemeiner) die Medialität von Sprache behandelt, auch im Zusammenspiel mit anderen Zeichenarten, (spezieller) die Rolle von Sprache in (technischen) Medien. Von den sehr zahlreichen Varianten der Kombination von Modalitäten und Kodalitäten sollen hier zwei sehr unterschiedliche Schwerpunkte betrachtet werden: Visualität von Sprache, in und von Texten, und sekundäre Audiovisualität.
In this article, the execution of a ritual as a component of religious communication is analysed. The ritual, in which the church community remembers the deceased, is celebrated in the evangelic church of Sarepta (Volgograd) on the last Sunday of the church year, the so-called ‘eternity Sunday’. The study of the ritual is based on two scientific approaches: ethnomethodology and multimodal interaction analysis. These approaches make it possible to analyse the social and cultural practices of church visitors in conjunction with the organisation of church service. Specifically, it becomes possible to:
a) develop new scientific paradigms when analysing the actual use of the church interior,
b) identify basic religious activities of communication in church,
c) introduce new concepts into scientific use,
d) present the ritual of remembrance in Sarepta as a complex, multimodally constituted religious event,
e) focus the coordination of linguistic, physical and spatial activities of church visitors and clerics at different stages of church service and to understand their respective social content and communicative status.
For analysing the video recordings of the church service, the concepts of ‘architecture-for-interaction’ and ‘social topography’ are used, making it possible to discover new aspects of spatial influence on communication. The concept of ‘architecture-for-interaction’ provides the framework for answering the question of how the church interior in Sarepta contributes to the organisation of the ritual. Forms of situational use of space and the cultural knowledge underlying this use are captured with the concept of ‘social topography’. From a structural viewpoint, the analyzed ritual in Sarepta is based on organization and division of responsibilities, consists of phases of structural non-simultaneity, has a three-positional spatial basis, and is structurally open. Because of these characteristics, the execution of the ritual can be described as ‘participatory rituality’. Participatory rituality allows for a religious socialization which lets the community members participate as active and legitimate participants in religious communication and autonomously contribute to the execution of the ritual.
All linguistics should be media linguistics, but it is not. This thesis is presented by using linguistic landscapes as an example. LL research does not belong to the traditional core of either mainstream linguis-tics or media linguistics. This is why not everything within power has been done yet to make full use of their thematic, conceptual and methodological possibilities. Visible signs in public space, however, are an everyday phenomenon. You have to pull out all the stops to research them extensively. The distinction between linguistics and media linguistics turns out to be counterproductive. But this does not only apply to the case of linguistic landscapes. It also stands for any comprehensive investigation of language and language use. (Ex-ceptions may be very narrow questions for specific purposes.) The above thoughts are supported by a database of the project „Metro-polenzeichen“ with more than 25.000 systematically collected, ge-ocoded and tagged photographs.
Im Kontext von Notfalleinsätzen (z.B. der Feuerwehr) müssen vielfältige raumbezogene Kommunikationsaufgaben bearbeitet werden. Bei der Verständigung zum Zweck kollektiver Orientierung und Navigation greifen die Beteiligten auf ein Ensemble technischer Medien zurück: Über etablierte Ressourcen – wie Funkgeräte und Mobiltelefone, Karten und Lagepläne, Kreide und Tafeln – hinaus werden heute in Übungs- und Schulungskontexten neuartige Steuerungs-, Lokalisierungs- und Referenzierungshilfen auf der Basis elektronischer Geräte und Computernetze erprobt. Derartige Medien können hilfreich sein, wenn es um die sprachliche Artikulierbarkeit und die technische Visualisierung, Speicherung und Übermittlung von raumbezogener Bedeutung über raumzeitliche Distanzen hinweg geht. Gleichwohl treten in derart komplexen medialen Konstellationen unvermeidlich technisch-kommunikative Störungen auf, die ihrerseits durch die Beteiligten „in situ“ sprachlich artikuliert und bearbeitet werden müssen. In solchen Störungsfällen werden Medialität und Intermedialität – als im Regelfall transparente Kommunikationsgrundlagen – interaktiv relevant und zum Thema der Kommunikation: Aus einem „Looking through“ wird ein semantisiertes „Looking at“ (Ludwig Jäger). Anhand audiovisueller Daten, die im Kontext von Notfallübungen erhoben wurden, wird ein Forschungsansatz vorgestellt, der darauf zielt, den Status sprachlicher Artikulationsarbeit für eine technisierte Interaktion im Rahmen kollektiver Ortserkundung und Navigation zu spezifizieren. Unter dem Aspekt der Anwendung wird auch die Frage erörtert, welche Relevanz derartigen Erkenntnissen für die Gestaltung medientechnischer Ressourcen für kritische Situationen zukommt.
Es ist nicht zu übersehen, dass die neuere Gesprächsforschung der Zeitlichkeit der Interaktion, also der Organisation von Nacheinander und Reihenfolge, viel mehr Aufmerksamkeit geschenkt hat als der Räumlichkeit der Interaktion, also der Organisation der Verortung und Platzierung Anwesender im Raum. Für Zeitlichkeit haben wir mit dem Konzept der Sequentialität eine methodologische Leitorientierung, die sich in unzähligen Analysen empirisch bewährt hat und theoretisch explizierbar ist. Für Räumlichkeit gilt das (trotz der Pionierarbeiten von Goffman, Hall, Birdwhistell, Kendon und anderen) offenkundig nicht, obwohl man mit Fug und Recht behaupten kann, dass Raum und Räumlichkeit – genauso wie Zeit und Zeitlichkeit – interaktiv in Anspruch genommen und interaktiv hergestellt werden. Kann man daraus schließen, dass der Raum für die Interaktion weniger wichtig ist als die Zeit? Oder hat es damit zu tun, dass Raum und Räumlichkeit für eine an sprachlichen Erscheinungsformen orientierte linguistische Gesprächsforschung empirisch und methodisch schwerer zu fassen sind? Und welcher Art sind die Phänomene, die man zu sehen bekommt, und die Konzepte, die man braucht, wenn man Räumlichkeit als Aspekt von Anwesenheit zu thematisieren versucht? Was schließlich leistet Sprache für die interaktive Inanspruchnahme von Raum und Räumlichkeit?
Diesen und ähnlichen Fragen geht der folgende Beitrag am Beispiel einer Interaktionsepisode in einer Kunstausstellung nach.
Wie wirkt sich die je spezifische Materialität von Sprache auf die Gestalt unserer Zeichen und damit auf die Bildung unserer Vorstellungen aus? Das wird hier am Beispiel von Schrift im World Wide Web untersucht. Unter dem Einfluss technisierter Materialität, Medialität und Multimodalität bildet sich eine Schriftlichkeit aus, deren Erscheinungsform und Bedeutung aus dem semiotischen Zusammenspiel von Sehflächen-Design, Bild und Text erwächst. Vor dem Hintergrund einer medial gestützten Geschichte kommunikativer Abstraktion, in deren Verlauf Leib und Seele im Bewusstsein auseinander traten, und anhand charakteristischer Beispiele aus dem WWW werden Entstehungsbedingungen, Eigenschaften und Leistungen solch ,tertiärer Schriftlichkeit‘ erläutert.
Theater rehearsals have a characteristic temporal organization: They rely on fleeting (talk/embodied conduct) and endurable resources (e.g. manipulation of objects) to accomplish a stage play which has a defined shape. In doing this, participants have to bridge time gaps and they are therefore dependent on practices which are able to prefigure the future in a more sustainable way. Based on video recordings from theater rehearsals I will show the basic operation of these practices: While projections-by-arrangements anticipate the play world verbally, preparations produce material parts of the play world (e.g. attaching props). Finally, I consider more general implications of the differences between “verbalizing” (projections) and “materializing” (preparations) for the temporalities of interactional organization.
Der Beitrag untersucht auf der Grundlage der multimodal-raumanalytischen Interaktionsanalyse die Abendmahlfeier in drei lutherisch-protestantischen Gottesdiensten. Die Videoaufnahmen hierzu stammen aus Sarepta (Russland) und Rimbach und Zotzenbach (Deutschland). Nach einer kurzen Einordnung des Beitrags in den relevanten Forschungszusammenhang wird das spezifische raumanalytische Erkenntnisinteresse am Abendmahl als kollektive Positionierungsanforderung erläutert. Drei Fallanalysen rekonstruieren zunächst die interaktionsarchitektonischen Voraussetzungen für die kollektive Bewegung der Gemeinde ins kirchenräumliche Vorne. Diese Bewegung, die Positionierung der Gemeinde zur Einnahme des Abendmahls (der Konsum von Wein und Brot) und der Rückweg zu den Kirchenbänken sind raumbezogene Teilaufgaben, die in der konkreten Situation bearbeitet werden müssen. Die Bewegung der Gemeinde wird in den drei analysierten Gottesdiensten auf sehr unterschiedliche Weise organisiert. Die Rekonstruktion dieser Unterschiede ermöglicht die Formulierung von drei unterschiedlichen Vollzugsmodellen primär auf der Basis der zwei folgenden Aspekte: Relevant ist zum einen das Ausmaß und die Form der Vergemeinschaftung
(als symbolischer Nachvollzugs des überlieferten Abendmahls von Jesus Christus mit seinen Jüngern am Gründonnerstag) und zum anderen die Spezifik, in der die Teilnehmer konkret den Wein und das Brot konsumieren. Auf diesem Wege konnten ein Modell der Vergemeinschaftung mit Kollektivversorgung (Sarepta), ein Modell der Teil-Vergemeinschaftung mit Teil-Gruppenversorgung (Zotzenbach) sowie ein Individualisierungsmodell mit Einzelversorgung (Rimbach) identifiziert werden. Als strukturprägende Einflussgrößen werden einerseits die Möglichkeiten, die die Architektur für den Vollzug des Abendmahls zur Verfügung stellt, und andererseits die Anzahl der Teilnehmer deutlich. Ab einer gewissen Anzahl entsteht eine Art Ökonomisierungszwang, der sich negativ auf die Qualität der Vergemeinschaftung auswirkt. Von Reinhold Schmitt stammt die Idee, das Abendmahl als Koordinations- und Positionierungsaufgabe zu konzeptualisieren. Er hat auch die multimodal-interaktionsanalytische Methodologie entwickelt, die dem Beitrag zugrunde liegt. Darüber hinaus hat er die Videoaufnahmen in Rimbach und Zotzenbach erstellt und transkribiert. Anna Petrova hat die Gottesdienste in Sarepta dokumentiert und transkribiert. Die methodische und theoretische Konzeption des Beitrags stammt von beiden Autoren. Auch die Analysen der ausgewählten Fälle haben sie gemeinsam durchgeführt.
In unserem Beitrag skizzieren wir im Rahmen des Verhältnisses von Sprache, Interaktion und Raum die Umrisse eines raumbasierten Konzeptes sozialer Positionierung. Zunächst stellen wir aktuelle Entwicklungen der linguistischen Interaktionsraumforschung vor, wobei wir eine grundlegende Differenzierung hinsichtlich der Relevantsetzung des Raums konstatieren: Raum wird zum einen als im Interaktionsprozess von den Beteiligten aktiv hervorgebrachte Größe konzeptualisiert, zum anderen wird Raum als interaktive Ressource entworfen, auf die in der Interaktion zurückgegriffen werden kann.
Mit den Begriffen „Interaktionsarchitektur“, „Sozialtopographie“ und „Interaktionsraum“ skizzieren wir im Anschluss die basale konzeptionelle Trias, die unserem interaktionslinguistischen Verständnis zugrunde liegt. Dabei kommt es uns besonders auf die Verdeutlichung der unterschiedlichen analytischen Implikationen der Konzepte für die Analyse multimodal konstituierter Interaktion an.
Im empirischen Teil werden unsere Konzepte an einem kurzen Ausschnitt aus einem Alpha-Gottesdienst verdeutlicht, bei dem vor den Augen der Gemeinde ein Wechsel im Kirchenvorstand vollzogen und inszeniert wird. Diese Analyse erfolgt im Hinblick auf die Entwicklung der Grundzüge eines nichtmetaphorisch, sondern wörtlich, d. h. raumbasiert, verstandenen Konzeptes sozialer Positionierung.
Der Beitrag plädiert für eine Untersuchung der gesprochenen Sprache als integralem Bestandteil multimodaler Interaktionspraktiken. Das leibliche Handeln bildet die Infrastruktur für die Verwendung von Sprache, es schafft Bedingungen, Möglichkeiten und Motivationen für die Verwendung spezifischer sprachlicher Strukturen; umgekehrt wird es seinerseits durch sprachliches Handeln organisiert. Zunächst werden in dem Beitrag grundlegende Eigenschaften multimodaler Interaktion dargestellt: die Vielfalt der leiblichen Handlungsressourcen und ihre Koordination, Sequenzialität und Simultaneität von Aktivitäten, multimodale Beteiligung an der Interaktion, der Stellenwert von Raum, Objekten, Multiaktivität und Bewegung. Ebenso wird kurz auf die methodischen Grundlagen der Untersuchung eingegangen: Videoaufnahme und multimodale Transkription. An drei sprachlichen Phänomenbereichen wird dann exemplarisch gezeigt, wie sprachliche Praktiken durch ihr Zusammenspiel mit anderen leiblichen Ressourcen der Kommunikation geprägt sind. Im Einzelnen geht es um die Disambiguierung sprachlicher Praktiken durch ihre Koordination mit anderen Ressourcen, die Erweiterung sprachlicher Strukturen, die aufgrund von Rezipientenreaktionen simultan zur Turn-Produktion stattfindet, und die Verwendungen minimaler Referenzformen, die sich auf die multimodale Ko-Orientierung der Beteiligten stützt.
Präsentationen sind seit einigen Jahren auch in der Wissenschaft zu einer selbstverständlichen Kommunikationsform geworden: In der Verbindung von spontaner mündlicher Rede und visueller Projektion vor allem mittels PowerPoint wollen sie dem Bedürfnis nach schneller Informationsvermittlung entsprechen. Henning Lobin analysiert die linguistischen und rhetorischen Eigenschaften dieser neuen Kommunikationsform und berücksichtigt insbesondere die spezielle Art der Medienkombination.
Präsentationstechnologien bedingen Konvergenzprozesse verschiedener Kommunikationsmodi. In wissenschaftlichen Präsentationen werden unterschiedliche kommunikative Elemente (unter anderem Text, Bild und redebegleitende Gesten) miteinander verbunden, wodurch eine komplexe, mehrdimensionale Form der Multimodalität entsteht Die multimodale Struktur von Präsentationen kann durch eine neuartige Betrachtungsweise mit linguistischem Instrumentarium beschrieben und analysiert werden. Die Grundlage eines solchen linguistischen Ansatzes bildet die Annahme, dass Präsentationen als komplexe, multimodale Texte verstanden werden können. Der Beitrag zeigt, wie auf Basis dieser Annahme die Funktionsweise wissenschaftlicher Präsentationen theoretisch modelliert werden kann.
In multimodal scholarly presentations supported by presentation software, spoken and written language, various visualizations on the projected slides as well as the contributors’ gestures and facial expressions build a meaningful oneness. On the one hand, communication scientists as well as linguists have for a relatively long time neglected the presentation as a complex form of communication. On the other hand, since Tafte (2003 ), columnists of major German newspapers have been dealing with the question of the value, the quality and the place of PowerPoint in science, they have even tried to find the answer to the question whether PowerPoint is evil or not.
The presentation practice is perceived as fundamentally deficient of systematic empirical research on presentations. Also Grabowski called attention to this desideratum with two critical articles (Grabowski 2003, 2008). Various questions - still unanswered - have motivated the implementation of a number of experiments (in the summer of 2010) for analyzing the knowledge and learning effects and the communicational impact of scientific presentations. The general aim of these experiments was to conduct empirical research on selected presentations in order to find out what kind of presentation is successful. The main interest is to find out which model of scholarly presentation produces the best results regarding learning effect and communicative impact.
Schreiben nach Engelbart
(2014)
Douglas Engelbart hat 1968 mit seinem On-Line System das erste Mal gezeigt, wie ein Computer als interaktives Schreibwerkzeug genutzt werden kann. Der Beitrag zeichnet diese Urszene der Textverarbeitung nach, beschreibt die wesentlichen Entwicklungslinien, die das digitale Schreiben seitdem genommen hat, und erläutert die zentralen Konzepte, die es zunehmend prägen: Hybridität, Multimedialität und Sozialität.
Der folgende Artikel ist ein bearbeiteter Auszug aus Henning Lobins “Engelbarts Traum. Wie der Computer uns Lesen und Schreiben abnimmt” Frankfurt am Main / New York: Campus, 2014.
Vor dem Hintergrund einer neuen linguistischen Betrachtungsweise, die wissenschaftliche Präsentationen als eine eigenständige, komplexe, multimodale Textsorte auffasst, wird in diesem Beitrag zunächst der Aspekt der Multimodalität von Präsentationen fokussiert. Die analytische Beschäftigung mit wissenschaftlichen Präsentationen wird dann um erste Ergebnisse unserer Rezeptionsexperimente ergänzt, in denen unter anderem Erhebungen zur Wissensvermittlung unterschiedlicher wissenschaftlicher Präsentationen durchgeführt wurden.
In recent times presentations have drawn the attention of scientific interest as a new form of communication. In visualization of abstract structures or relationships in scholarly presentations using diagrams, different medial layers of meaning are conjoined in a very special way. The present paper examines firstly the multimodal structure of presentations and the mechanisms of establishing cross-modality coherence. Then the results of a reception experiment are discussed that gives rise to the assumption that multimodality can in fact improve the understanding of scholarly presentations. In the final part of the paper the production of an abstract visualization in a scholarly presentation is exemplified with regard to the solution of disambiguation and linearization problems. We claim that abstract visualizations in presentations are used to produce narratives by the speaker, and without such narratives this kind of visualization cannot be understood properly.
Overtaking as an interactional achievement : video analyses of participants' practices in traffic
(2018)
In this article we pursue a systematic and extensive study of overtaking in traffic as an interactional event. Our focus is on the accountable organisation and accomplishment of overtaking by road users in real-world traffic situations. Data and analysis are drawn from multiple research groups studying driving from an ethnomethodological and conversation analytic perspective. Building on multimodal and sequential analyses of video recordings of overtaking events, the article describes the shared practices which overtakers and overtaken parties use in displaying, recognizing and coordinating their manoeuvres. It examines the three sequential phases of an overtaking event: preparation and projection; the overtaking proper; the re-alignment post-phase including retrospective accounts and assessments. We identify how during each of these phases drivers and passengers organize intra-vehicle and inter-vehicle practices: driving and non-driving related talk between vehicle- occupants, the emerging spatiotemporal ecology of the road, and the driving actions of other road users. The data is derived from a two camera set-up recording the road ahead and car interior. The recordings are from three settings: daily commuting, driving lessons, race-car coaching. The events occur on a variety of road types (motorways, country roads, city streets, a race track, etc.), in six languages (English, Finnish, French, German, Italian, and Swedish) and in seven countries (Australia, Finland, France, Germany, Sweden, Switzerland, and the UK). From an exceptionally diverse collection of video data, the study of which is made possible thanks to the innovative collaboration of multiple researchers, the article exhibits the range of practical challenges and communicative skills involved in overtaking.
We had found ourselves in the “Gutenberg-Galaxy” before the digitalization made its rise. The development of the book printing by Johannes Gutenberg and developments based on it as well as the following industrialization of printing are decisive for the expansion of the cultural revolution. It has meanwhile been transformed, upgraded and replaced by something which has been called “Turing Galaxy”. One of the most important changes is the automatic processing of data, the program-controlled production or manipulation of texts, images, sounds, formulas, tables and videos. The internet has led us to new distribution channels. The paper shows which trends of development concerning the cultural skills of writing and reading have been realized up to now as a result of the digitalization. Three aspects of development will be discussed: how the way of writing has changed to the present moment by the means of automation, multimodality and networking.
Auf der Grundlage videodokumentierter Kirchenbesichtigungen, bei denen exothetisches Sprechen als Erhebungsmethode eingesetzt wurde, analysiert der Aufsatz Gemeinsamkeiten und Unterschiede in den Kirchenbesichtigungen von Aurelia, Saskia und Anton. Alle haben dieselbe Kirche besichtigt und ihre visuelle Wahrnehmung des Kirchenraums – das war die explizit formulierte Aufgabe – durch verbale Kommentare und Beschreibungen begleitet. Übergeordnetes Ziel der Analyse des exothetischen Sprechens war die Rekonstruktion der den Besichtigungen zugrundeliegenden Konzepte, die zum Großteil in mitgebrachten Relevanzen begründet sind. Nach der Skizzierung unseres zentralen Erkenntnisinteresses und der Verortung unseres Ansatzes im relevanten Forschungskontext arbeiten wir zunächst die Gemeinsamkeiten der exothetischen Formen und ihre Funktionen in den drei Kirchenbesichtigungen heraus. Dann konzentrieren wir uns auf die Unterschiede und jeweiligen Besonderheiten der drei Besichtigungen und arbeiten dabei drei eigenständige, in sich schlüssige Besichtigungskonzepte heraus. Diese drei Konzepte zeichnen sich durch die jeweils eigenständige Konstitution des Kirchenraums bei dessen Besichtigung aus. Wir konnten zeigen, dass der Kirchenraum als religiöser Funktionsraum konstituiert wird (Aurelia), als Ort von Christusdarstellungen (Saskia) und als architekturgeschichtlicher Zusammenhang (Anton). Die modellhafte Eigenständigkeit der Konzepte wurde ausschließlich durch das exothetische Sprechen deutlich. Dies weist die wahrnehmungsbegleitende Thematisierung als wichtiges Erhebungs- und Analyseverfahren für den Zugang zur situierten Kognition im Zusammenhang mit dem Vollzug komplexer kultureller Praktiken aus.
This article explores how close one can come to a cultural-scientific perspective on the basis of a constitution-analytical methodology. We do this on the basis of a comparison of the celebration of Totensonntag in Zotzenbach (Southern Hesse) and Sarepta (Wolgograd). In both places, there are protestant churches that perform this ritual to commemorate the dead on this “Sunday of the Dead” as a part of their church service. Our scientific interest lies in the reconstruction of the rituality produced during the in situ execution. In both services, the names of the deceased are read out and a candle is lit for each deceased person. In Zotzenbach the priest reads out the names and an assistant ignites the candles for the deceased, whereas in Sarepta the bereaved are responsible for this. Since the ritual is organised in very different ways in terms of architecture-for-interaction (statically in Zotzenbach, spatially dynamic in Sarepta), we can reconstruct two completely different models of rituality: a demonstrative one (Zotzenbach) and a participative one (Sarepta). The demonstrative model works on the basis of a finely tuned coordination between the two church representatives and is aimed at a dignified execution. The model in Sarepta is not suitable for the production of formality due to its participatory structure. Here, however, the focus is also on the aspect of socialization, which goes beyond the church service and offers the Russian-German worshipers the opportunity to situationally constitute as a culturally homogeneous group.
Theateraufführungen sind ohne Zuschauer nicht denkbar. Zugleich erweisen sich Proben aber als öffentlichkeitsabgeschirmte und intime Vorgänge, da eine (zu frühe) Orientierung an möglichen Publikums-Effekten den kreativen Prozess stört. Auf der Grundlage von über 30 Stunden Videoaufnahmen von Theaterproben zeige ich an ausgewählten Ausschnitten, wie Theatermachende sich sprachlich und körperlich im Probenprozess auf das Publikum beziehen, wie dies interaktiv realisiert wird und welche Rückschlüsse das auf die Weisen der Publikumskonstruktion im Kontext von Proben zulässt.
Wir setzen mit diesem Text unsere gemeinsamen Analysen des Zusammenhangs von Gottesdienst und Kirchenraum fort. Methodologisch entwickeln wir mit der sozial-räumlichen Positionierung ein Konzept, bei dem Interaktionsarchitektur-, Sozialtopographie- und Interaktionsraumanalyse zusammenkommen. Es handelt sich um einen ersten systematischen Versuch, fallbasiert das Konzept "Positionierung" zu entmetaphorisieren und es im engsten Wortsinne erstmalig und primär im Raum zu verankern. Das zentrale Argument für die Ent-Metaphorisierung des Konzeptes besteht in der Tatsache, dass bereits lange bevor das erste Wort gesprochen wird, Personen im institutionellen Funktionsraum (hier Kirche) durch die Einnahme bestimmter Positionen soziale Ansprüche stellen und ihre Präsenz sozial aufladen. Es ist zudem empirisch evident, dass in dem von uns analysierten Fall die Beteiligten durch ihr Positionierungsverhalten (und zwar ausschließlich darüber!) neben der gemeinsamen verbalen Bearbeitung thematisch-pragmatischer Relevanzen jeweils eigene und durchaus konkurrenzielle Ziele auf der "Beziehungsebene" verfolgen.
Researchers interested in the sounds of speech or the physical gestures of Speakers make use of audio and video recordings in their work. Annotating these recordings presents a different set of requirements to the annotation of text. Special purpose tools have been developed to display video and audio Signals and to allow the creation of time-aligned annotations. This chapter reviews the most widely used of these tools for both manual and automatic generation of annotations on multimodal data.
Die Autoren beschäftigen sich mit Aspekten von Unterrichtskommunikation, die in der Regel übersehen oder in ihrer Relevanz nicht hinreichend fokussiert werden. Sie verdeutlichen exemplarisch, welche Erkenntnisse damit verbunden sind, wenn man Unterrichtsgeschehen nicht sofort als institutionelle Interaktion verengt und vorschnell auf Wissensvermittlung verkürzt, sondern trotz der faktischen Relevanz dieser beiden Aspekte das Geschehen im Klassenraum hinsichtlich basaler, interaktionskonstitutiver Anforderungen befragt. Unterricht als gemeinsame Herstellung der Beteiligten betrachtet und als raumbasiertes Unternehmen konzeptualisiert.
In diesem Aufsatz wird einzelfallanalytisch der Frage nachgegangen, wie die Struktur einer Kirchenbesichtigung aussieht. Im theoretischen Rahmen, der die Kirchenbesichtigung als kulturelle Praktik konzeptualisiert, wird „Objektkonstitution“ als eine aktive Leistung des Kirchenbesichtigers in den Blick genommen. Bei den Aufnahmen zum Kirchenbesichtigungskorpus wurden die Besichtiger nicht nur bei ihrem Gang durch den Kirchenraum und der visuellen Wahrnehmung bestimmter Raumaspekte gefilmt. Sie wurden vielmehr darum gebeten, ihre visuelle Wahrnehmung durch begleitendes Sprechen auch zu kommentieren. Aufgezeichnet wurde das Besichtigungskorpus mit zwei Kameras: einer Actionkamera, die den Wahrnehmungsraum der Besichtiger dokumentiert, und einer Kontextkamera, die ihnen bei ihrem Weg durch den Raum folgt.
Dieses experimentelle Erhebungsdesign, bei dem exothetisches Sprechen bewusst als wissenschaftliche Erhebungsmethode eingesetzt wird, macht es möglich, das Besichtigungskonzept der Personen als dynamisches Zusammenspiel ihrer visuellen Wahrnehmung des Kirchenraums und ihrer wahrnehmungsbegleitenden Exothese zu rekonstruieren. Dass Objektkonstitution eine aktive Herstellung ist, durch die der Kirchenraum in den Relevanzen seines Betrachters teilweise neu entsteht, zeigt die Fallanalyse in exemplarischer Klarheit: Anton, der analysierte Besichtiger, der sich ausführlich mit zwei großen Gemälden beschäftigt, konstituiert diese de facto als „Bilderrahmen“, ohne überhaupt auf die dargestellten Szenen einzugehen.
The paper presents the results of a joint effort of a group of multimodality researchers and tool developers to improve the interoperability between several tools used for the annotation and analysis of multimodality. Each of the tools has specific strengths so that a variety of different tools, working on the same data, can be desirable for project work. However this usually requires tedious conversion between formats. We propose a common exchange format for multimodal annotation, based on the annotation graph (AG) formalism, which is supported by import and export routines in the respective tools. In the current version of this format the common denominator information can be reliably exchanged between the tools, and additional information can be stored in a standardized way.
Vorwort
(2016)
Cet article étudie les définitions en contexte d’instructions dans les leçons d’auto-école. Les observations s’appuient sur un corpus de 70 heures de leçons enregistrées par vidéo en Allemagne. Le moniteur utilise des définitions pour introduire des nouvelles expressions techniques qui sont étroitement liées aux buts de l’apprentissage de conduite. Pour leur production, l’emploi des ressources multimodales est fondamental. La définition ostensive par pointage et une assertion existentielle (ça/ici c’est X) est complétée par des définitions descriptives et des démonstrations gestuelles du maniement des objets. L’objectif des actes de définition ici n’est pas de délivrer une définition de l’expression en soi, qui soit valable pour tous les contextes possibles, mais de produire une définition qui soit efficace dans le contexte pratique concerné. Les définitions donc sont plutôt fragmentées, indexicales et situées, et elles sont adaptées aux pré-connaissances de l’interlocuteur.
Bild-Makros, auch unter dem Begriff Memes bekannt, sind populäre Internetphänomene, die im Zuge der umfassenden Multimodalisierung der Medienkommunikation als Unterhaltungsangebote auf Facebook verbreitet und kommentiert werden. Dieser Beitrag betrachtet diese aus einer Kombination von Bild und Text bestehenden multimodalen Kommunikate aus einer gattungs- und gesprächsanalytischen Perspektive, da Bild- Makros sowohl in ihrer formalen und semantischen Gestaltung als auch in der interaktiven Rezeption in Form von Kommentaren und Antworten verfestigte Muster aufzuweisen scheinen. In dieser medial vermittelten Interaktion haben sich sowohl auf der strukturellen Ebene der Interaktionssequenzen als auch innerhalb einzelner, auf sequenzexterner und sequenzinterner Ebene analysierten Interaktionseinheiten verschiedene kommunikative Muster herausgebildet. Darin nehmen soziale Prozesse wie face-work und Identitätskonstruktion Einfluss auf die interaktive Aushandlung des Kommunikats.
Interaktion ist ohne konkreten Raum- und Ortsbezug kaum denkbar. In der institutionellen Kommunikation kommt diese Raumbindung besonders prägnant zum Ausdruck, weil sich hier charakteristische Räume ausdifferenziert haben, in denen die Kommunikation ihr soziales Zuhause gefunden hat: Gottesdienst im Kirchenraum, Unterricht im Klassenzimmer, Ausstellungen im Museum oder die Produktion von Radiosendungen im Aufnahmestudio. Dieser Zusammenhang von Interaktion und gebautem Raum steht im Zentrum des Sammelbandes: Wie wird durch und mit Architektur Interaktion möglich und erwartbar gemacht (Interaktionsarchitektur)? Wie bringen die Beteiligten in ihrer Nutzung der Architektur ihr Alltagswissen über soziale Räume zum Ausdruck (Sozialtopographie)? Wie fließen diese Ressourcen in die Herstellung eines je konkreten Interaktionsraumes ein? Mit diesen Fragen ist ein vielversprechendes interdisziplinäres Forschungsfeld aufgespannt, das in empirischer, theoretischer und methodologischer Hinsicht erschlossen wird: mit Fallanalysen zu den genannten Räumen, mit Beiträgen zur Theorie und Methodologie und mit interdisziplinären Experten-Kommentaren.
In diesem Aufsatz werden Positionierungsverfahren analysiert, welche die Macher einer Talkshow einsetzen, um ihre Gäste den Fernsehzuschauern als relevante Gesprächspartner für das Thema „Steuerhinterziehung durch Prominente” zu präsentieren. Es wird untersucht, wie es den Machern der Talkshow gelingt, die Gäste bereits bei der Erstvorstellung durch das Zusammenspiel einer Stimme aus dem Off und der Kameraführung als „prototypische Vertreter” zu präsentieren und zueinander zu positionieren. Von den insgesamt fünf Teilnehmern der Talkshow werden zwei dieser Erstvorstellungen detailliert analysiert. Es handelt sich um die Präsentation zweier Gäste, die in einer deutlich antagonistischen Beziehung zueinander stehen. Diese Gäste werden unmittelbar hintereinander vorgestellt. Auf der Grundlage aller fünf Gastpräsentationen, die wir detailliert rekonstruiert haben, jedoch aus Platzgründen hier leider nicht ebenfalls präsentieren können, wird ein strukturiertes Positionierungsgeflecht deutlich. Dieses Geflecht weist im Zentrum die von uns rekonstruierte thematische und personelle „Gegnerschaft“ auf. In der Peripherie sind dann insgesamt vier Vertreter relevanter gesellschaftlicher Positionen zum Thema der Talkshow beigeordnet. Dabei handelt es sich um Vertreter der Rechtsprechung, der Politik, der Alltagsmoral und der Psychologie und Theologie. Die Analysen werden in theoretischer Hinsicht auf der Grundlage multimodaler Vorstellungen zur Positionierung und zum Recipient Design durchgeführt. In methodisch-methodologischer Perspektive orientiert sich die Analyse an der multimodalen Interaktionsanalyse.
Zur Ko-Konstruktion einer amüsanten Unterbrechung während einer argumentativen Auseinandersetzung
(2015)
Der Band ist ein empirischer und theoretischer Beitrag zur Analyse der Bedeutung, die Aspekte des körperlichen und räumlichen Verhaltens der Beteiligten für die Interaktion haben. Er steht im Feld einer sich dynamisch entwickelnden theoretischen Konzeption »multimodaler Interaktion«. Anhand von Videoaufzeichnungen zweier maximal kontrastierender Situationen – Unterricht und Filmset – wird im Detail analysiert, in welcher Weise Interaktionsbeteiligte zur Lösung situativer Anforderungen von ihrem Körper und den räumlichen Ressourcen Gebrauch machen, die ihnen in der aktuellen Situation zur Verfügung stehen. Auf der Grundlage einer konstitutionsanalytischen Methodologie werden multimodale Verfahren rekonstruiert, mit denen die Beteiligten für ihre situationsspezifischen Zwecke vorhandene Aspekte des Raumes nutzen und durch ihr eigenes körperlich-raumbezogenes Verhalten Raum relevant und verstehbar machen.
Der Band liefert Einblicke in die fallspezifischen Verfahren, die auf räumliche Bedingungen der beiden Situationen reagieren und diese Situationen selbst konstituieren. Er verdeutlicht die falltranszendierende, allgemeine Relevanz körperlich-raumbezogener Orientierungen und Verfahren für die Interaktion. Und er erarbeitet und diskutiert mit »Fokusperson«, »Interaktionsraum« und »Interaktionsensemble« wichtige Konzepte für die weitere Entwicklung der multimodalen Interaktionsanalyse.
Der Band führt aus einer multimodalen Perspektive in die Relevanz räumlicher Aspekte für die Interaktion ein. Auf der Grundlage von Videoaufzeichnungen analysiert er multimodale Verfahren, mit denen Interaktionsbeteiligte für jeweils situationsspezifische Zwecke vorhandene räumliche Aspekte nutzen und selbst aktiv räumliche Strukturen herstellen. Präsentiert werden neun empirische Untersuchungen sehr verschiedener Situationstypen: Außendreh am Filmset, Bürgerversammlung, Universität, Museum, Ausstellung, Chemieunterricht, Arbeitsmeeting, Kochsendung und Hörfilm. Die Analysen werden durch eine theoretische Einleitung im etablierten Kontext der raumbezogenen Analyse verortet. Und es wird expliziert, was die Perspektive auf Raum als interaktive Ressource methodisch impliziert. Neben der detaillierten Rekonstruktion konkreter Raumnutzung unter spezifischen situativen Bedingungen werden vor allem zwei Punkte deutlich: Zum einen ist Interaktion immer ein raumbezogenes und raumbasiertes soziales Unterfangen. Sie muss folglich auch systematisch hinsichtlich dieser Qualität analysiert werden. Zum anderen steht die Analyse des Raumes als interaktive Ressource in methodischer und methodologischer Hinsicht noch ganz am Anfang.
Der Band ist ein empirischer Beitrag zur Analyse von Unterrichtskommunikation. Auf der Grundlage von Videoaufzeichnungen werden interaktive Prozesse im gymnasialen Chemieunterricht unter einer multimodalen Perspektive untersucht. Neben der thematischen Fokussierung sprachlicher Aktivitäten der Beteiligten stehen vor allem körperlich-räumliche Aspekte von Interaktion im Vordergrund. Hinsichtlich des Ergänzungsverhältnisses von Wissenskommunikation und Wahrnehmungswahrnehmung ist der Chemieunterricht ein besonders interessanter Fall: Wissensvermittlung erfolgt immer dann, wenn auch etwas wahrgenommen, d.h. beobachtet werden soll. So werden fachsprachliche Begriffe fast immer im Rahmen von Demonstrationsphasen eingeführt. Der Band reinterpretiert in einem abschließenden Kapitel die Analyseergebnisse unter einer didaktischen Perspektive, der ‚De-facto-Didaktik’. Dabei werden Verfahren und Strategien offengelegt, die Lehrer zur Lösung zentraler Anforderungen situativ einsetzen. Ziel der De-facto-Didaktik ist es, Chancen und Risiken aufzudecken, die bestimmte Strategien im Rahmen spezifischer Unterrichtsbedingungen mit sich bringen.
The paper discusses two topics: firstly an approach of using multiple layers of annotation is sketched out. Regarding the XML representation this approach is similar to standoff annotation. A second topic is the use of heterogeneous linguistic resources (e.g., XML annotated documents, taggers, lexical nets) as a source for semiautomatic multi-dimensional markup to resolve typical linguistic issues, dealing with anaphora resolution as a case study.
This paper discusses computational linguistic methods for the semi-automatic analysis of modality interdependencies (the combination of complex resources such as speaking, writing, and visualizing; MID) in professional crosssituational interaction settings. The overall purpose of the approach is to develop models, methods, and a framework for the description and analysis of MID forms and functions. The paper describes work in progress—the development of an annotation framework that allows annotating different data and file formats at various levels, to relate annotation levels and entries independently of the given file format, and to visualize patterns.
This paper introduces the Aix Map Task corpus, a corpus of audio and video recordings of task-oriented dialogues. It was modelled after the original HCRC Map Task corpus. Lexical material was designed for the analysis of speech and prosody, as described in Astésano et al. (2007). The design of the lexical material, the protocol and some basic quantitative features of the existing corpus are presented. The corpus was collected under two communicative conditions, one audio-only condition and one face-to-face condition. The recordings took place in a studio and a sound attenuated booth respectively, with head-set microphones (and in the face-to-face condition with two video cameras). The recordings have been segmented into Inter-Pausal-Units and transcribed using transcription conventions containing actual productions and canonical forms of what was said. It is made publicly available online.