Entre lo dicho y lo visto: la multimodalidad en la conversación coloquial

Esta investigación analiza los elementos multimodales, con especial atención en los gestos, que influyen en la segmentación en unidades pragmáticas de la conversación coloquial en español. Para ello, se graba un corpus de interacciones espontáneas en audio y video, cuidando la naturalidad de las situaciones comunicativas. Las grabaciones se transcriben con un sistema que integra la anotación de diversos tipos de gestos, tanto en formato digital como en papel.
A partir de este material, se realizan dos análisis principales. El primero compara las segmentaciones obtenidas a partir del audio y del video, y evalúa la cantidad y el tipo de modificaciones estructurales y sociales, así como los elementos multimodales que las causan (gestos, orientación corporal, lectura de labios, acciones extralingüísticas). El segundo se centra en los gestos que intervienen en esta segmentación, teniendo en cuenta su posición dentro de la estructura conversacional, su forma y su función.
Los resultados muestran que la consideración de los elementos multimodales enriquece la descripción de la interacción y ofrece una visión más precisa del funcionamiento del diálogo coloquial.