Forskningsprojekt Syntax och kroppen: språkets roll i multimodalt samspel
Det här projektet undersöker hur syntax samspelar med gester, blickar och rörelser i autentiska samtal. Genom videodata från flera språk utforskar vi hur kropp och språk samverkar för att skapa, förhandla och förstå mening i interaktion.
När vi samtalar använder vi inte bara ord och grammatik, utan också blickar, gester, mimik, kroppshållning och röstens nyanser. Det här internationella projektet undersöker hur syntax faktiskt fungerar i vardagliga möten genom noggrann analys av videoinspelade samtal på svenska, estniska, franska, japanska, mandarin och tyska.
Vi analyserar hur turer byggs upp steg för steg i samspel mellan tal och kropp – till exempel hur en blick kan signalera att en tur är på väg att avslutas, hur en pekning preciserar vad ett ord syftar på, eller hur en paus och ett tvekljud påverkar hur yttrandet tolkas. Genom att jämföra språken identifierar vi både språkspecifika lösningar och återkommande mönster. Projektet ger därmed en mer realistisk bild av grammatik som något levande, dynamiskt och djupt förankrat i mänsklig interaktion.
Webbplats
Syntax and the body: the structuring of language in multimodal sense-making
Många av oss har upplevt vilken skillnad det är att konstruera meningar på en språklektion och att prata främmande språk när man möter människor i verkliga livet: helt plötsligt förekommer fraser och uttryck i kombination med kulturspecifika gester, mimik och meningsfulla ljud som inte alls låter bekanta från den formella beskrivningen av grammatiken i skolbänken. I detta internationella samarbete vill vi systematiskt
beskriva syntax såsom den används i vardagen. Då har vi även tillgång till våra kroppar och kan använda gester, blickar, distans och rörelse för att skapa mening.
Genom näranalys av videoinspelningar visar vi hur syntax och kroppen samverkar på ett antal typologiskt och genetiskt olika språk: svenska, estniska, franska, japanska, mandarin och tyska. Vi vill påvisa både mångfald och möjliga generiska drag i dessa språk (såsom att människor pekar i samband med uttryck som ”här och ”där”) i stället för att lita på en likinriktad algoritm som skapar hypotetiska meningar, såsom tidigare forskning om syntax ibland har gjort. Människor visar förståelse och oförståelse även under andras pågående tal, inte minst med förvånande miner eller frånvända blickar, vilket påverkar hur talaren fortsätter sin utläggning. Genom att påbörja en komplex mening kan vi hindra andra från att lämna mötet, genom att rynka pannan kan vi locka fram en bisats om vilken person som talaren hänvisade till.
Vi analyserar det faktiska språkbruket i sitt kroppsliga sammanhang för att uppnå en djupare förståelse för vad specifika språkstrukturer är till för och för att underbygga en mer användbar språkundervisning. Vi visar även vägar till en systematisk analys av meningsbyggnad på olika språk som kan avsevärt förbättra underlaget för kommunicerande artificiella agenter med sina alltmer multimodala ambitioner – rörelser och språket används och tolkas samtidigt. Vår forskning kommer alltså bidra med viktiga teoretiska och praktiska insikter om språket som en del i ett multimodalt samspel.