Communicatie vindt meestal plaats in sociale interacties, tussen twee (of meer) mensen. In eerder onderzoek naar communicatie bestuderen we meestal echter één persoon die spreekt of luistert, zonder visuele signalen of interactie mee te nemen. Om de studies over communicatie representatiever te maken voor hoe we in het echte leven communiceren, moeten we mensen in sociale interacties onderzoeken, door hen te laten communiceren terwijl ze naar elkaar kijken.
Het werk van Cordula Vesper over sociale interactie
Wetenschapper Dr. Cordula Vesper doet precies dit. Zij komt oorspronkelijk uit Duitsland en werkt aan de Universiteit van Aarhus in Denemarken als universitair hoofddocent. Ze is voortdurend op zoek naar hoe mensen zich gedragen in sociale interacties.
Ik bezocht Vesper in Aarhus om te bespreken hoe onze onderzoeksgebieden overlappen en verschillen. In ons gesprek waren we het erover eens dat een interdisciplinaire aanpak cruciaal is. Deze aanpak bevordert een brede kijk die meer kennis kan opleveren door verder te kijken dan de eigen expertise en verschillende concepten en manieren te onderzoeken om vragen aan te pakken door de lens van meer dan één discipline. Vesper benadert haar onderzoek bijvoorbeeld vanuit meerdere onderzoeksdisciplines zoals psychologie, cognitieve wetenschap en semiotiek (de studie van tekens en symbolen). Hierdoor kan zij gedrag en de cognitieve mechanismen die aan gedrag ten grondslag liggen bestuderen.
Een voorbeeld uit het werk van Vesper is het onderzoek naar hoe mensen instructies communiceren voor handelingen, zoals het verplaatsen van objecten, zonder gebruik te maken van spraak. In een van haar experimenten moet de aangewezen “leider” aan een “volger” meedelen hoe bepaalde voorwerpen moeten worden verplaatst zonder te praten. Bij dit soort interacties kan zelfs iets kleins en specifieks als de vorm van de hand het voor de volgers gemakkelijker maken om de bedoeling van de leider te begrijpen. Hieruit blijkt dat visuele signalen heel wat informatie overbrengen, zelfs bij afwezigheid van spraak!
Net als Vesper onderzoek ik communicatie in sociale interacties. Een groot verschil tussen onze benaderingen is dat ik me richt op het lichaam tijdens spraak. Specifiek bestudeer ik of gezichtssignalen bijdragen aan communicatie in dialoog. Ik neem spontane gesprekken op en analyseer ze om deze vraag te beantwoorden. Ik gebruik ook avatars (virtuele personages) waarmee ik kan controleren welke visuele signalen worden gebruikt en op welk moment, om te testen of specifieke visuele signalen helpen om vragen van statements te onderscheiden. Bijvoorbeeld, herkennen mensen een verzoek om informatie beter als de avatar zijn wenkbrauwen beweegt? Tot nu toe heb ik ontdekt dat vragen makkelijker worden herkend als de wenkbrauwen bewegen, waaruit blijkt dat visuele signalen van het gezicht kunnen helpen om specifieke bedoelingen te interpreteren.
Toekomstige richtingen voor dit onderzoek
Vesper en ik hadden het over de afweging die gemaakt moet worden als je communicatie onderzoekt aan de hand van een natuurlijk scenario dat representatief is voor hoe we in het echte leven communiceren: hoe natuurlijker een experiment, hoe luidruchtiger en minder gecontroleerd het is, en omgekeerd. Het is een uitdaging om experimenten te ontwerpen die nauwkeurig zijn en ons in staat stellen er met zekerheid informatie uit te halen, maar die niet te kunstmatig zijn. De sleutel is een goed evenwicht te vinden. Vesper gebruikt markers om lichaamsbewegingen te volgen in haar nieuwe bewegingslaboratorium in plaats van te vertrouwen op automatische software. Vesper zegt dat deze markers handmatig op het lichaam moeten worden geplaatst, wat meer tijd kost, maar ze volgen de lichaamsbeweging preciezer. Ook in mijn eigen werk zijn mijn avatars natuurlijk virtueel, maar hun bewegingen zijn gebaseerd op het natuurlijke gedrag van echte mensen. Ook dit geeft ons controle over wat we de deelnemers laten zien, terwijl we toch zo dicht mogelijk bij de werkelijke omstandigheden blijven.
Toekomstig werk met verschillende benaderingen en methodologieën zal ons helpen precies te bepalen wanneer visueel gedrag bijdraagt tot communicatie. Wij denken dat het nuttig zou zijn om verschillende disciplines samen te brengen en ons te richten op visueel gedrag met en zonder spraak in verschillende scenario’s met meer of minder controle. Het zou kunnen dat hoe we ons lichaam bewegen als we praten er in bepaalde contexten toe doet, maar in andere niet. Vesper zegt dat communicatie tot nu toe vooral is bestudeerd wanneer mensen proberen samen te werken. Zij stelt voor onderzoek te doen naar competitieve contexten zoals een voetbalwedstrijd of andere competitieve spelletjes waarbij mensen niet altijd proberen samen te werken. Dit zou inzicht geven in de vraag of het bewegen van ons lichaam tijdens de communicatie een flexibele strategie is. Toekomstig onderzoek zou ook kunnen vergelijken hoe mensen in verschillende culturen visuele signalen gebruiken om te communiceren. In de Maya-cultuur wordt oogcontact bijvoorbeeld als onbeleefd beschouwd. Dus hoe verschilt het visuele gedrag van de Maya’s van die van ons in het westen? Uiteindelijk zou dit werk ons kunnen vertellen hoe we sociale robots (zie bijvoorbeeld Sophia, een robot gemaakt voor gezondheidsdoeleinden) er meer als een echt mens uit kunnen laten zien en zich gedragen.
Wetenschappelijke artikelen
- Vesper, C., Morisseau, T., Knoblich, G., & Sperber, D. (2021). When is ostensive communication used for joint action? Cognitive Semiotics, 14(2), 101–129. https://doi.org/10.1515/cogsem-2021-2040
- Vesper, C., & Sevdalis, V. (2020). Informing, Coordinating, and Performing: A Perspective on Functions of Sensorimotor Communication. Frontiers in Human Neuroscience, 14. https://www.frontiersin.org/article/10.3389/fnhum.2020.00168
- Pezzulo, G., Donnarumma, F., Dindo, H., D’Ausilio, A., Konvalinka, I., & Castelfranchi, C. (2019). The body talks: Sensorimotor communication and its brain and kinematic signatures. Physics of Life Reviews, 28, 1–21. https://doi.org/10.1016/j.plrev.2018.06.014
Schrijver: Naomi Nota
Redacteur: Candice Frances
Nederlandse vertaling: Julia von der Fuhr
Duitse vertaling: Natascha Roos
Eindredactie: Sophie Slaats
