 |
 |
 |
 |
 |
 |
 |
ENG Quantitative research CAT Investigació quantitativa EUS Ikerketa kuantitatiboa GLG Investigación cuantitativa POR Pesquisa quantitativa |
contenido
Introducción | Los difusos límites entre la investigación cuantitativa y la cualitativa | El diseño de la investigación cuantitativa | Potencial para la investigación
Introducción. Una instantánea de la investigación cuantitativa
La investigación cuantitativa suele definirse en términos muy sencillos como un tipo de investigación que trata con datos numéricos o, al menos, con datos que pueden convertirse en números (Sheard 2018). Esta naturaleza numérica de los datos se asocia frecuentemente con escalas de medición y análisis a través de modelos estadísticos. La información centrada en los datos –es decir, la naturaleza de los mismos y los procedimientos para su recogida, medición y análisis– se convierte en el principal parámetro que guía las definiciones de la investigación cuantitativa.
Además de los atributos centrados en los datos, hay tres características clave relacionadas con el método científico, que generalmente se atribuyen a la investigación cuantitativa. Dos se refieren a las condiciones esenciales de la comprobación de hipótesis, a saber, el uso de un método hipotético-deductivo que debe ser falsable. De acuerdo con estas condiciones, las predicciones en la investigación cuantitativa deben plantearse formalmente de manera que puedan ser falsables, es decir, que se demuestre que son erróneas mediante pruebas objetivas. La tercera característica se refiere a la necesidad de replicabilidad, es decir, a la posibilidad de probar los resultados comunicados repitiendo el método de investigación. La replicabilidad está relacionada con dos rasgos que también se esperan de la conducta de los investigadores cuantitativos: la honestidad sobre la forma en que se ha llevado a cabo la investigación y la confianza en que los resultados obtenidos han sido los mejores posibles. La replicabilidad implica el uso del mismo análisis con diferentes datos, y no debe confundirse con la reproducibilidad (mismos datos y mismo análisis), ni con la robustez (mismos datos, diferente análisis) o la generalización (diferentes datos, diferente análisis) de los datos.
En la literatura sobre métodos de investigación, la investigación cuantitativa y la cualitativa suelen definirse en tándem, de forma que una sirve para ilustrar lo contrario de la otra, pero con el desiderátum general de que se usen en de forma complementaria. En educación, ciencias de la salud, sociología, psicología y también en traducción e interpretación se introduce un tercer tipo de metodología, i.e., la investigación con métodos mixtos, que integra y combina los otros dos (por ejemplo, Saldanha & O'Brien 2013).
En los ETI, el interés de los investigadores en la década de 1990 hacia una metodología más científica y empírica favoreció la expansión de la investigación cuantitativa en detrimento de la cualitativa (Ferreira, Schwieter & Gile 2015: 4). En los ETIC, el cambio vino de la mano de una oleada de diseños experimentales sobre los procesos cognitivos de los traductores, que han sido criticados, entre otras razones, por la escasa validez ecológica de sus entornos –especialmente cuando el foco era la traducción profesional– y la falta de información sobre la calidad y la naturaleza de los datos. En consecuencia, la investigación en los ETI ha virado hacia los métodos mixtos como forma de alcanzar una comprensión más profunda del problema de investigación y una aproximación más precisa a las poblaciones de profesionales y de aprendices examinadas en el mundo real.
Los métodos cuantitativos y cualitativos muestran ciertamente algunas diferencias notables en sus enfoques de los parámetros clave para un diseño de investigación. No obstante, los límites nítidos y claros creados para separarlos son claramente artificiales; en los ETI los límites son borrosos y la distancia entre ellos no es tan grande como parece (Hale & Napier 2013). La investigación se produce a lo largo de un continuo en el que nos encontramos con diseños que pueden tener una orientación más o menos cuantitativa o cualitativa, pero que muy raramente se sitúan en los extremos (Rojo 2013). Pero a pesar de los límites difusos, y en aras de la descripción teórica, aquí se abordan por separado. La presente entrada proporciona una instantánea de la investigación cuantitativa que perfila la ausencia de límites nítidos entre las categorías y discute algunas de las ventajas y peligros de la investigación cuantitativa con respecto a los componentes básicos de un diseño cuantitativo, es decir, los estudios previos y las lagunas existentes en la literatura; las preguntas de investigación y las variables; las hipótesis, el tamaño de la muestra y las pruebas de inferencia; las herramientas de medición; y el análisis y el informe de los resultados. Para concluir echamos un vistazo al futuro de la investigación responsable en los ETI.
![[título del epígrafe]](2.2-X.png "[título del epígrafe]"){kind=small}
Los difusos límites entre la investigación cuantitativa y la cualitativa
Las definiciones de la investigación cuantitativa y las de la cualitativa suelen presentarlas como una dicotomía clara y multiatributiva en la que ambas metodologías se describen como polos opuestos que compiten entre sí. A lo largo de la historia de los ETI, esta rivalidad se ha visto reflejada en el cambio intermitente de la balanza de poder hacia una u otra, algo que en gran medida ha dependido del enfoque teórico adoptado (Rojo 2013). Y, sin embargo, la progresiva constatación de las limitaciones de los enfoques de método único ha llevado finalmente a ambas partes a conformarse con un “empate técnico”, en beneficio de los enfoques de métodos mixtos.
En las últimas décadas, se ha observado un creciente interés en los ETI por los métodos mixtos, en parte motivado por la necesidad de superar las limitaciones de un enfoque de método único, y en parte por la constatación de que los enfoques cuantitativos y cualitativos representan en la práctica un continuo interactivo. La mayoría de los estudios –particularmente en el ámbito de las humanidades y las ciencias sociales– incluyen supuestos cuantitativos y cualitativos en mayor o menor grado (Ridenour y Newman 2008: 17). Un caso que ilustra con claridad la flexibilidad de la frontera entre ambas metodologías es el hecho de que una gran variedad de información cualitativa puede convertirse en datos cuantitativos susceptibles de ser computados y analizados estadísticamente –el caso más típico en los ETI es probablemente el de los problemas y estrategias de traducción (Rojo 2019). Por lo tanto, la mayoría de los investigadores abogan por paradigmas mixtos más flexibles que les permitan aprovechar al máximo los métodos cuantitativos y cualitativos en función de sus necesidades específicas de investigación.
En los diseños de métodos mixtos, el método cuantitativo puede preceder o seguir al cualitativo, dependiendo de cuál se priorice y de cómo se implemente la recogida de datos. Como se ha indicado, los métodos cuantitativos se prefieren cuando se hace hincapié en la cantidad o los números, es decir, cuando las variables implicadas en la pregunta o hipótesis de investigación pueden cuantificarse, medirse y testarse con una muestra amplia de la población objeto y/o con los datos. En combinación con los métodos cualitativos, los cuantitativos pueden servir para proporcionar apoyo numérico a una exploración previa, seleccionando aquellos datos con potencial para ser aplicados a una población mayor o, alternativamente, pueden servir inicialmente para testar las variables con una muestra grande antes de que unos pocos casos sean explorados posteriormente en mayor profundidad.
La combinación de datos cuantitativos con cualitativos es especialmente apropiada en disciplinas como los ETI, en las que el lenguaje tiene una importancia especial para el estudio de la interacción humana en contextos sociales, y en las que los números pueden ser insuficientes por sí solos para dar cuenta de la riqueza y la complejidad de la comunicación humana. A continuación, describiremos los parámetros clave de la metodología cuantitativa, discutiremos algunos de sus posibles pros y contras, y sugeriremos formas de superar estos últimos en el futuro.
The quantitative research design
Hasta aquí, las etiquetas investigación y metodología se han utilizado indistintamente para referirse al marco general o la estrategia global que guía un estudio. Esta estrategia –un plan para recoger, medir y analizar los datos– puede englobar tres métodos diferentes: cuantitativo, cualitativo y mixto.
Centrémonos en el diseño. Un diseño de investigación puede definirse como el esquema específico que describe cómo se aplica el método seleccionado para responder a una determinada pregunta de investigación, integrando los componentes del estudio en un todo coherente y lógico. El diseño es especialmente relevante en la metodología cuantitativa, que suele seguir una estructura cerrada y predecible planificada de antemano. La descripción de un diseño cuantitativo prototípico se ha estructurado en cinco etapas diferentes: identificación de las lagunas existentes en la literatura; elección de la pregunta de investigación y de las variables; formulación de hipótesis y pertinencia del tamaño de la muestra y de las pruebas de inferencia; selección de las herramientas de medición adecuadas; y análisis e informe de resultados.
Identificar las lagunas existentes en la literatura
El primer paso para construir un diseño de investigación es definir el problema que queremos investigar. La elección de un problema de investigación puede estar guiada por muchas razones, desde la curiosidad personal hasta el deseo de explorar una teoría. Sea cual sea la motivación, siempre hay obstáculos o restricciones conceptuales y prácticas que obligan a los investigadores a centrarse en un aspecto concreto que puede ser abordado en la práctica.
Dos consideraciones importantes sobre la elección de un problema de investigación son la naturaleza del problema y cómo se ha investigado. La naturaleza del problema no es una dificultad en sí misma, ya que la mayoría de los temas –incluso los que inicialmente parecen más cualitativos– pueden explorarse cuantitativamente seleccionando conceptos operativos que se convierten en variables medibles. La investigación existente sobre el tema es crucial en los diseños cuantitativos, que suelen tener como objetivo justificar el estudio mediante la identificación de lagunas en la literatura. La investigación cuantitativa se basa en un enfoque deductivo articulado en un contexto de justificación o validación, en el que la teoría precede a la investigación.
Las lagunas pueden encontrarse en los problemas de investigación, en las variables o incluso en el tipo de diseño. Consideremos, por ejemplo, la cuestión de la ideología en la traducción. La ideología es un principio abstracto o un conjunto de principios abstractos relacionados, por lo que, a priori, no parece muy susceptible de cuantificación. Los estudios sobre este tema en los ETI han adoptado tradicionalmente un enfoque cualitativo basado en la exploración tanto del texto origen (TO) como del texto meta (TM). Sin embargo, en la actualidad hay trabajos que demuestran que la ideología puede abordarse de una manera que permite cuantificar ciertas variables; por ejemplo, los trabajos que exploran el impacto de la ideología política de los participantes en su tiempo de reacción al traducir expresiones que son congruentes o incongruentes con sus creencias ideológicas (Rojo & Ramos 2014). Siempre es posible encontrar formas de proporcionar explicaciones alternativas a un problema o completar los resultados de la investigación existentes. El truco está en seleccionar aquellas variables que son susceptibles de ser exploradas cuantitativamente.
Plantear la pregunta de investigación y elegir variables medibles
Una vez identificado el problema de investigación, podemos acotarlo y definirlo con mayor precisión formulando una pregunta de investigación clara y sencilla que permita la medición cuantitativa. Volviendo al ejemplo anterior sobre la ideología, nuestra pregunta de investigación podría formularse así: ¿cómo influye la ideología política de los traductores en su proceso de traducción? Al plantear esta pregunta de investigación, la noción de ideología se ha reducido al punto de vista político del traductor y su efecto en la traducción al proceso en lugar de al producto.
Pero incluso después de que el problema de investigación se haya definido con mayor precisión en la pregunta de investigación, aún es necesario operacionalizar las variables implicadas, de modo que puedan medirse y cuantificarse. Por ejemplo, en la mayoría de los entornos experimentales los investigadores observan los efectos de las variables independientes sobre las dependientes. Las primeras son las que manipula el experimentador y las segundas sirven para medir el resultado o efecto experimental. Además de definir las variables independientes y dependientes, los investigadores también deben observar otras variables que pueden influir en los resultados interviniendo o mediando entre las variables independientes y las dependientes. Estas variables intervinientes o mediadoras no se miden pero, siempre que sea posible, deben ser controladas por el investigador. En nuestro ejemplo sobre la ideología, la ideología política sería la variable independiente y su efecto en el proceso de traducción sería la dependiente. Las posibles variables intervinientes podrían ser la edad de los participantes, ciertos rasgos de personalidad, reacciones emocionales inesperadas o incluso algunos factores relacionados con la ansiedad.
En este punto, las variables de nuestro estudio aún están definidas de forma demasiado vaga para su medición y habría que despojarlas de algunas capas para centrarse en aspectos más específicos. En la investigación cuantitativa, al menos la variable dependiente debe medirse en una escala numérica o cuantitativa. En el caso de nuestro ejemplo sobre la ideología, esta restricción implica la necesidad de elegir un aspecto del proceso de traducción que pueda cuantificarse. En el trabajo mencionado, la variable dependiente era el tiempo de reacción, es decir, el tiempo que los participantes necesitaban para encontrar una traducción de los estímulos experimentales. Dado que el tiempo de reacción suele medirse en milisegundos, constituye un buen ejemplo de escala de razón o numérica con un punto cero real –0 ms es posible, aunque sea muy poco probable–, en la que un intervalo de tamaño determinado tiene la misma interpretación para toda la escala (por ejemplo, 2000 ms es el doble que 1000 ms). Otros ejemplos de escalas de proporción son la duración o el número de respuestas correctas en un examen.
Además de las escalas de razón, otros dos tipos de variables cuantitativas son las escalas de intervalo y las ordinales. Al igual que las de razón, las escalas de intervalo también son numéricas y tienen intervalos con la misma interpretación en todo momento. La temperatura es un ejemplo típico de escala de intervalo, en la que se supone que la diferencia entre 20 y 40 grados representa lo mismo que entre 40 y 60 grados. La única diferencia entre las escalas de razón y las de intervalo es que estas últimas no tienen un punto cero absoluto o verdadero; el punto cero de una escala de temperatura no indica una ausencia de temperatura, sino un punto arbitrario en la escala. Las escalas de razón típicas, como el tiempo de reacción, también pueden tratarse ocasionalmente como medidas de intervalo cuando las puntuaciones se comparan con una media. Imaginemos, por ejemplo, que los participantes tardan una media de 800 ms en reaccionar y que queremos observar la diferencia entre el tiempo de reacción observado y este nivel medio de rendimiento. En tal caso, el nivel de medición se haría sólo en una escala de intervalo, ya que el intervalo entre los participantes sigue siendo significativo, pero el elemento de proporción no lo es; por ejemplo, si un participante puntúa 1200 ms más que la media, mientras que otro puntúa sólo 200 ms más, el primero seguiría tardando 1000 ms más que el segundo, pero esta diferencia no puede interpretarse como que tarda 6 veces más que el segundo (es decir, 1200 ms divididos por 200 ms) (Fife-Schaw 2012: 30-31).
Las escalas ordinales son series de valores que están ordenados, pero no tienen una distancia establecida entre ellos. Un ejemplo típico es el de ordenar a los alumnos según sus capacidades en categorías como excelente, bueno, medio, malo o extremadamente malo. Esta clasificación nos dice que un alumno puede ser mejor o peor que otro, pero no especifica cuánto mejor o peor. Incluso si se asignan valores numéricos a una escala ordinal –como suele ocurrir en la mayoría de los ítems de tipo Likert, como 1=muy en desacuerdo, 2=en desacuerdo, 3=indeciso, 4=de acuerdo y 5=muy de acuerdo–, sigue sin haber certeza de que la diferencia entre una puntuación de 1 y 2 signifique lo mismo que la diferencia entre una puntuación de 3 y 4. La mayoría de las puntuaciones de los test psicológicos miden constructos mentales que no pueden observarse directamente –por ejemplo, actitudes, intenciones, rasgos de personalidad, bienestar psicológico, etc. – y, por tanto, deben considerarse estrictamente como medidas ordinales, ya que infieren niveles de rasgo a partir de respuestas a ítems sobre tendencias de comportamiento, pero no miden el constructo de una manera directa. Sin embargo, considerar que una medida es ordinal tiene importantes implicaciones para el análisis estadístico, ya que no deben utilizarse medias aritméticas ni pruebas paramétricas para analizarlas. Sin embargo, los investigadores han encontrado una salida tratándolas como valores de intervalo, por ejemplo, asumiendo que una diferencia de 5 puntos en un test de CI entre alguien que obtiene una puntuación de 75 y alguien que obtiene 80 significa lo mismo que la diferencia entre alguien que obtiene una puntuación de 155 y alguien con una puntuación de 160. En la mayoría de los trabajos de investigación, esta es una práctica habitual que permite a los investigadores utilizar análisis de medias y pruebas paramétricas (Fife-Schaw 2012: 28-29).
En la investigación cuantitativa, es necesario que las variables dependientes sean contables, mientras que las variables independientes pueden reflejar diferencias cualitativas o categóricas. Las variables categóricas –también conocidas como nominales– están definidas por dos o más categorías mutuamente excluyentes (es decir, un miembro no debe pertenecer a más de una categoría), pero no tienen un orden intrínseco. Las categorías binarias como aprobado/suspenso y conservador/liberal son ejemplos típicos, aunque también podríamos tener más de dos categorías, como política de izquierdas, de derechas y de centro. El número y el tipo de categoría dependerán de los objetivos de la investigación y de las características de la muestra, ya que es posible que queramos clasificar a los participantes en conservadores o liberales, o bien que queramos añadir una posición neutral. En nuestro ejemplo de ideología, la variable independiente se operacionalizó en dos puntos de vista políticos opuestos –es decir, liberal y conservador– que se manipularon para buscar la congruencia o incongruencia entre la carga ideológica de los estímulos proporcionados y la postura política del traductor. A efectos del análisis estadístico, se pueden asignar números a las observaciones de cada categoría. Por ejemplo, se puede dar un valor de código 1 a los conservadores y 2 a los liberales. Estos números señalan categorías diferentes, pero no implican mayor cantidad o mejor calidad. Los números sólo sirven de referencia para que los ordenadores calculen las medias de cada categoría.
Hipótesis, tamaño de la muestra e inferencia estadística
Una vez seleccionadas las variables, tenemos que formular predicciones sobre cómo se espera que interactúen, es decir, sobre cómo esperamos que la variable independiente influya en la dependiente. Estas predicciones se denominan hipótesis. A efectos estadísticos, cuando se trata de confirmar la validez de una afirmación hay dos tipos básicos de hipótesis: la hipótesis nula (H0 or HN) y la alternativa (H1 or HA). La hipótesis nula es la suposición de que la variable independiente no tiene ningún efecto sobre la dependiente (por ejemplo, el estrés no tendrá ningún efecto sobre el rendimiento de los estudiantes de interpretación). La mayoría de los investigadores no suelen plantear hipótesis nulas asumiendo la ausencia de efectos, sino que asumen que la variable independiente afectará a la dependiente (por ejemplo, el estrés tendrá un efecto negativo en el rendimiento de los estudiantes de interpretación) y, por tanto, formulan hipótesis alternativas. Sin embargo, la hipótesis nula es fundamental a la hora de poner a prueba nuestras predicciones, ya que las hipótesis pueden falsarse o demostrarse falsas, pero es muy difícil demostrar que son absolutamente ciertas y siempre correctas. De hecho, sólo se puede llegar a la hipótesis alternativa una vez que se ha rechazado la H0. Sólo entonces podemos saber que parece haber algún tipo de efecto y que una hipótesis alternativa –con suerte, la que hemos planteado– puede proporcionar una explicación mejor. Por eso la conclusión final debe darse siempre en términos de la hipótesis nula. O bien no se rechaza la H0 o se rechaza a favor de la H1; nunca debemos concluir que la H1 se rechaza o incluso se acepta.
Las hipótesis también pueden clasificarse en correlacionales o casuales, dependiendo de si se predice que las variables están relacionadas de algún modo o, más concretamente, si se supone una relación de causa y efecto entre ellas. Las correlaciones pueden ser positivas, cuando suponemos que la relación entre las variables aumentará o disminuirá simultáneamente (por ejemplo, cuanto mayor sea el nivel de estrés de los estudiantes de interpretación, mayor será su frecuencia cardíaca durante la tarea de interpretación) o negativas, cuando el aumento de una variable se asocia a una disminución de la otra (por ejemplo, cuanto mayor sea el nivel de estrés de los estudiantes de interpretación, menor será su puntuación en la tarea). Pero la correlación no implica necesariamente causalidad, y no debe utilizarse para afirmar relaciones de causa-efecto entre dos variables.
Las predicciones hipotéticas siempre se formulan en relación con una población, normalmente formada por personas u objetos (por ejemplo, traducciones). Dado que a menudo es imposible acceder a todos los miembros de una población determinada, se selecciona una porción o muestra con fines prácticos. El supuesto es que los resultados de una muestra determinada harán que nuestras inferencias sean válidas para el resto de la población, por lo que necesitamos una forma de demostrar la confianza que tenemos en nuestra inferencia de que lo que encontramos en una muestra concreta también se aplica a toda la población. Y aquí es donde entra la estadística.
El nivel de confianza puede mejorarse aumentando el tamaño de la muestra. Cuanto más se acerque su tamaño al de la población total, mayor será la confianza en la validez de los resultados. No obstante, además de los problemas prácticos para aumentar el tamaño de la muestra –por ejemplo, la falta de profesionales dispuestos a participar o la falta de financiación para pagar su participación–, siempre hay un punto a partir del cual la confianza añadida al aumentar el tamaño de la muestra empieza a parecer menos significativa. Una forma de resolver estos problemas es recurrir a las pruebas de inferencia estadística, que consisten en estimar los niveles de confianza para aceptar o rechazar las hipótesis.
Cuando calculamos la probabilidad de la hipótesis nula, podemos incurrir en dos tipos de errores (Fife-Schaw 2012: 24). El primer error se produce si asumimos erróneamente que las dos variables están relacionadas o que una afecta a la otra, pero en realidad no lo hacen. Estaríamos rechazando erróneamente una hipótesis nula verdadera. Este error se denomina error de tipo I, y puede ocurrir, por ejemplo, cuando nos encontramos con una distribución desequilibrada de las puntuaciones para las diferentes condiciones experimentales (por ejemplo, podemos tener por casualidad demasiados estudiantes con bajas habilidades de interpretación en un grupo y demasiados con altas en el otro). En tal situación, el efecto sobre su rendimiento de interpretación podría no estar relacionado con el estrés, sino con sus niveles de habilidad. Si la probabilidad de este tipo de error es muy baja (es decir, inferior a 0,05), la hipótesis nula puede rechazarse con seguridad. Conviene tener en cuenta que la probabilidad de cometer este tipo de error nunca puede ser exactamente cero, ya que las muestras siempre pueden tener casos excepcionales que desconocemos.
Incurrimos en un error de tipo II cuando suponemos erróneamente que nuestras variables no están relacionadas, o que la variable independiente no afecta a la dependiente, y lo cierto es lo contrario. Este tipo de error puede producirse, por ejemplo, cuando se asignan demasiados alumnos con buenas destrezas a la condición que se supone que reduce las puntuaciones (es decir, la condición estresante) y viceversa, es decir, se asignan demasiados estudiantes con bajas destrezas a la condición no estresante. Como resultado, las diferencias en las puntuaciones entre los grupos podrían ser menores, y podríamos suponer erróneamente que no hay diferencias cuando en realidad sí las hay.
La mayoría de las pruebas estadísticas proporcionan una estimación de la probabilidad de haber cometido este tipo de errores calculando el tamaño de las relaciones entre las observaciones, el tamaño de la muestra y el diseño del estudio. Las estimaciones precisas de las probabilidades de haber cometido estos errores mejoran nuestro grado de confianza en el potencial de generalización de los datos de nuestra muestra, y la precisión de dichas estimaciones depende, a su vez, del uso de herramientas de investigación adecuadas que permitan una medición numérica precisa de nuestras variables.
Seleccionar herramientas de medición precisas para minimizar los errores
El éxito de la investigación cuantitativa depende de la capacidad del investigador de maximizar el control para minimizar los errores en las distintas etapas de la investigación. Además de las pruebas de inferencia, hay que tener en cuenta los errores de medición. Los errores de medición se refieren a las divergencias entre el valor observado (registrado) y el valor real de una medida. Por ejemplo, si tenemos que medir la altura de nuestros participantes para un experimento sobre la frecuencia cardíaca, utilizar centímetros aumentará la probabilidad de error, porque los centímetros son menos precisos que los milímetros. Y la probabilidad de error será aún mayor si utilizamos una cinta americana, ya que miden hasta 1/16 de pulgada, lo que equivale aproximadamente a 0,15 centímetros o 1,5 milímetros.
Las escalas de relación e intervalo no plantean problemas para garantizar que los puntos entre las escalas signifiquen lo mismo para todos los participantes, algo imprescindible para una medición precisa. En estos casos, el principal inconveniente puede estar en el coste del equipo, ya que una medición muy precisa suele requerir equipos de alta tecnología. La mayoría de los equipos utilizados en la investigación en psicología y los ETI pueden proporcionar medidas de tiempo más cercanas a los milisegundos, una escala que se considera suficientemente precisa en la mayoría de las áreas de investigación. Este es el caso de la mayoría de los programas de tiempo de reacción (por ejemplo, E-Prime, OpenSesame), los lectores de movimientos oculares (por ejemplo, EyeLink, Tobii Pro) y los programas de grabación del teclado (por ejemplo, Inputlog, Translog-II), que en los últimos años se han utilizado en estudios de traducción e interpretación para medir el tiempo de respuesta, la velocidad de procesamiento y el esfuerzo cognitivo de los participantes en segundos o milisegundos mediante el registro de sus pulsaciones o movimientos oculares mientras escriben en el teclado de un ordenador o miran a una pantalla o a otros interlocutores en una situación de interpretación (por ejemplo, Rojo, Ramos & Valenzuela 2014, Carl, Bangalore & Schaeffer 2016, Walker & Federici 2018).
Un buen ejemplo de cómo la tecnología favorece la exactitud en la medición puede encontrarse en la evolución desde la categorización manual de la expresión física de las emociones –basada en el Sistema de Codificación de Acciones Faciales de Ekman & Friedsen (1978)– hasta los programas de ordenador que extraen de forma automática las características geométricas de los rostros en los vídeos y producen perfiles temporales de los distintos movimientos faciales. Estos programas permiten a los investigadores analizar las expresiones en tiempo real asociándolas a patrones de emociones básicas y realizando en segundos o minutos un análisis para el que, de otro modo, se necesitarían horas para identificar todas las unidades de acción –es decir, las acciones de los músculos faciales individuales o de grupos de ellos– y asignarles una puntuación en una escala ordinal de mínima a máxima intensidad.
Las mediciones con esta sofisticada tecnología se basan en escalas de relación de tiempo y distancia, que garantizan la comparabilidad de las mediciones entre los participantes. Sin embargo, el tipo de escalas ordinales utilizadas en la mayoría de los test y cuestionarios psicológicos plantea muchos más problemas. Como hemos visto, las etiquetas de las escalas de Likert son probablemente suficientes para discriminar entre diferentes niveles –por ejemplo, entre de acuerdo y en desacuerdo, o incluso entre de acuerdo y muy de acuerdo–, pero no pueden garantizar que una etiqueta signifique exactamente lo mismo para todos los participantes (por ejemplo, nunca se puede estar seguro de que etiquetas como “de acuerdo” o “en desacuerdo” impliquen exactamente el mismo grado de acuerdo o desacuerdo para todos los participantes). Otro problema común de las escalas Likert se refiere a la tendencia de los participantes a elegir el ítem más neutro o menos discriminatorio, un problema que puede superarse aumentando el número de opciones de respuesta disponibles de cinco a siete o incluso nueve. Sin embargo, aumentar el número de opciones sólo es aconsejable hasta cierto punto. Una escala con demasiadas opciones puede resultar más precisa para el investigador, pero también ser más confusa para los participantes, lo que puede dar lugar a mayores errores de medición (Fife-Schaw 2012: 34)
Cómo analizar y presentar los datos cuantitativos
Cuando se analizan mediciones, la elección del análisis estadístico correcto también es vital para minimizar los errores. Además del tipo de escala o nivel de medición utilizado, el análisis estadístico depende de la naturaleza de la distribución de las puntuaciones esperada en la población de la que se extrae la muestra. Según el tipo de distribución esperada, distinguimos entre pruebas paramétricas o no paramétricas. Las pruebas paramétricas hacen suposiciones sobre los parámetros de la distribución de la población de la que se extrae la muestra, y suelen suponer que los datos de la población tienen una distribución normal, es decir, una distribución de probabilidad simétrica respecto a la media y representada por una curva en forma de campana. La forma de una distribución normal viene determinada por la media y la desviación estándar, es decir, el cálculo estadístico que muestra la proximidad de los ejemplos en torno a la media en un conjunto de datos. Cuanto más pronunciada sea la curva de campana, menor será la desviación estándar. Por el contrario, cuanto más separados estén los ejemplos, más plana será la curva de la campana y mayor será la desviación estándar.
Las pruebas no paramétricas pueden utilizarse para variables que no muestran distribuciones normales, porque o bien no tienen distribución o bien muestran una distribución específica en la que los parámetros de la misma no están especificados. Las pruebas no paramétricas son válidas tanto para datos con una distribución normal como para datos con una distribución no normal. Sin embargo, se prefieren las pruebas paramétricas por tres razones principales: tienen un mayor poder de predicción, es decir, pueden dar respuesta a preguntas sobre nuestra población que no son fáciles de abordar por otros medios; tienen una mayor potencia estadística, lo que permite a los investigadores detectar diferencias significativas cuando realmente existen; permiten también una modelización más flexible y acomodar los factores de confusión mediante la regresión múltiple.
En general, las pruebas paramétricas son más apropiadas para los datos de proporción e intervalo, mientras que las pruebas no paramétricas son mejores para las categorías nominales, las respuestas a los cuestionarios, las puntuaciones de calificación o las evaluaciones en una escala. Aun así, los investigadores, atraídos por las ventajas de las pruebas paramétricas, se esfuerzan por proporcionar medidas ordinales adecuadas para el tratamiento paramétrico. El debate sobre la idoneidad de las medidas ordinales para el análisis paramétrico está servido, con argumentos tanto a favor como en contra. El argumento a favor sostiene que muchas medidas se encuentran entre el nivel ordinal y el de intervalo (Minium, King y Bear 1993), y que la clave de la adecuación de las medidas ordinales está en su calidad. Si su calidad es buena, sostienen que el uso de pruebas paramétricas probablemente llevará a las mismas conclusiones que el uso de técnicas no paramétricas más apropiadas. Volvamos al ejemplo de una escala Likert. Formalmente tienen un nivel ordinal, pero una buena escala Likert muestra categorías simétricas que facilitan la inferencia de atributos equidistantes y permite que se comporte más como una medida de nivel de intervalo. Por eso, en la práctica, las escalas Likert suelen considerarse como escalas de intervalo.
El argumento en contra sostiene, por el contrario, que la aplicación de técnicas de nivel superior –que en principio están diseñadas para dicho nivel de medición– a datos de un nivel menos sofisticado suele dar lugar a hallazgos sin sentido y de escasa fiabilidad a la hora de realizar inferencias válidas (por ejemplo, Stine 1989). Argumentan que aunque los resultados de las pruebas informáticas pudieran parecer coherentes, como en el caso de las tablas y las figuras, en realidad seguirían siendo una farsa, ya que no existiría certeza de que condujeran a las mismas conclusiones que las pruebas no paramétricas. En vista del debate, algunos estudiosos (por ejemplo, Blalock 1988) abogan por una solución intermedia y más segura que consiste en realizar, siempre que sea posible, un análisis de medidas ordinales utilizando tanto pruebas paramétricas como no paramétricas, confiando en estas últimas siempre que los resultados sean contradictorios.
Más allá de la discusión de los expertos en estadística, la elección del procedimiento estadístico debe guiarse también por las convenciones para analizar datos ordinales en el campo específico del investigador. En los ETI, estamos acostumbrados a trabajar con categorías nominales y datos ordinales que requieren técnicas no paramétricas, aunque también se observa una preferencia general por analizar las escalas de Likert mediante procedimientos paramétricos que permiten un análisis más complejo de los distintos factores. Ya se han dado los primeros pasos hacia una estadística más rigurosa con trabajos especializados en estadística en los ETI (por ejemplo, Mellinger & Hanson 2017). Sin embargo, todavía es necesario seguir trabajando para estandarizar los procedimientos estadísticos en un tipo de datos y diseños experimentales similares. No podemos estar de acuerdo con Fife-Schaw (2012: 36) cuando sugiere que solo la investigación con implicaciones serias para la vida humana requiere un enfoque más estricto del análisis estadístico. Si aspiramos al rigor en la investigación TIS, debemos apuntar a la precisión y esforzarnos por la exhaustividad y la coherencia.
El rigor no sólo es vital para el análisis de los resultados, sino también para la forma de comunicarlos. La comunicación de los resultados cuantitativos implica tres elementos clave: las estadísticas realizadas, las hipótesis y las teorías y estudios existentes en la literatura. Los resultados cuantitativos se presentan previamente en la sección de resultados del documento en forma numérica, junto con las tablas, diagramas y figuras pertinentes. Más adelante, en la sección dedicada a la discusión de los resultados, hay que informar de las conclusiones con referencia a la hipótesis planteada para discutir si se rechaza la hipótesis nula y si, cuando se rechaza, nuestra hipótesis sería la mejor explicación alternativa posible.
La discusión sobre la probabilidad de la hipótesis alternativa también requiere la comparación de nuestros resultados con las teorías y estudios existentes en la literatura. En los ETI, los resultados deben cotejarse y examinarse en comparación con otros estudios y teorías relacionados con la traducción e interpretación. Por último, el público al que se dirige el informe es su juez final. Por lo tanto, los investigadores deben intentar exponer su estudio, resultados e interpretaciones de la forma más clara posible a la audiencia a la que se dirigen, de modo que puedan entender el estudio en su conjunto y lo que significa para ellos y para los profesionales implicados, ya sean profesores, estudiantes, traductores, intérpretes o clientes y consumidores.
Potencial para la investigación
La investigación cuantitativa ha recorrido un largo camino en los ETI en los últimos veinte años, impulsada por la ola de trabajos empíricos desde diferentes enfoques y áreas (por ejemplo, Carl, Bangalore & Schaeffer 2016, Díaz & Szarkowska 2020, Orero, Kruger, Matamala et al. 2019, Vandevoorde, Daems, Defrancq et al. 2020). En los últimos años, se ha tomado conciencia de la necesidad de aumentar el rigor en el diseño de la investigación, el uso y la aplicación de las herramientas de investigación o incluso el análisis estadístico. Hasta ahora, los avances se han plasmado en objetivos con un impacto aún mejorable en los trabajos existentes. Todavía queda un largo camino por recorrer en relación con muchos otros aspectos fundamentales para la investigación cuantitativa. Los principios rectores que garantizan la continuidad de la investigación cuantitativa se refieren a un conjunto de tres requisitos éticos fundamentales que deben cumplirse para llevar a cabo una investigación responsable, rigurosa y válida en el ámbito de los ETI.
El primer requisito impone la necesidad de que las propuestas de investigación en los ETI tengan valor social, señalando la contribución de los resultados esperados al conocimiento científico, a la salud o bienestar de las poblaciones implicadas, o a la comprensión de problemas no resueltos que puedan generar propuestas de mejora. La originalidad del tema y la experiencia del investigador son dos condiciones previas al valor social. El valor social de la investigación ha surgido en las últimas décadas en los ETI como un criterio importante para una investigación novedosa y responsable. Los temas y métodos trillados y los enfoques monodisciplinares se abordan desde perspectivas novedosas o simplemente dejan paso a temas nuevos (por ejemplo, el estudio de las emociones, el papel de la personalidad o la ecología cultural de la traducción, este último tema de la Conferencia IATIS 2021), a metodologías innovadoras (por ejemplo, indicadores fisiológicos, EEG, fMRI, etc.) y a enfoques interdisciplinarios (por ejemplo, psicología, neurología, bilingüismo, etc.). Otro requisito previo de la investigación socialmente relevante se refiere a la necesidad de conectar los hallazgos empíricos y las explicaciones teóricas. El reciente auge de la investigación empírica en los ETI ha dado lugar a una gran cantidad de resultados cuyos efectos se describen a menudo sin explicaciones teóricas sólidas. Para que la investigación en los ETI tenga pleno valor científico y social, es urgente «hacer converger el qué y el cómo para saber el porqué» (Kotze 2020). Por último, también es necesario tener cuidado con los peligros de la investigación proclive a la tecnología, en la que ésta se antepone a los participantes y a la validez ecológica del estudio. Es importante para los ETI integrar la tecnología en la investigación basada en el lugar de trabajo (Ehrensberger-Dow y Massey 2019).
El segundo requisito se refiere a la validez y el rigor científicos, es decir, a la necesidad de seguir cada paso del método científico para asegurar el rigor metodológico y garantizar la producción de resultados fiables y aplicables. La validez científica en la investigación cuantitativa se apoya en muchos pasos, como la selección correcta y sin sesgos de los participantes, la definición de las variables adecuadas, la realización de mediciones válidas y fiables mediante los instrumentos apropiados y el compromiso de elegir y definir el procedimiento estadístico utilizado para el análisis de los resultados. De especial relevancia es el proceso de selección de los instrumentos de investigación adecuados para un proyecto de investigación. El afán de innovación tecnológica que ha caracterizado a la investigación en los ETI durante las dos últimas décadas ha dado lugar en ocasiones a un uso excesivo y sin rumbo de equipos de alta tecnología que no han cumplido su propósito inicial debido al uso poco riguroso de las herramientas y sus parámetros de medición. Algunos estudiosos ya han empezado a sentar las bases de estos estándares con trabajos sobre herramientas de medición fisiológica (Rojo & Korpal 2020), pero es necesario seguir trabajando en los estándares de medición para conseguir y garantizar este tipo de validez científica.
El tercer requisito apunta a la necesidad de proteger a los participantes, con una relación riesgo/beneficio que debe garantizar un riesgo mínimo en relación con los beneficios potenciales. Existe la obligación de informar a los participantes de los beneficios y riesgos antes de que otorguen su consentimiento para participar en el estudio, tanto en el consentimiento informado como en el formulario de información. Ocultar la información sobre los riesgos para evitar la reducción de la participación constituye un comportamiento poco ético. La confidencialidad de la información personal de los participantes también es esencial para garantizar su protección. Los datos deben codificarse para garantizar la privacidad y el anonimato de los participantes durante todo el procedimiento de recopilación de datos, al publicar los resultados de la investigación e incluso en el momento de almacenar de forma segura los documentos de la misma. Mientras que éste ha sido un procedimiento común en áreas con una larga tradición experimental, como la psicología, en los ETI esta práctica es mucho más reciente, enarbolada por los códigos de conducta ética y los procesos de aprobación de universidades, institutos de investigación y organizaciones gubernamentales. No obstante, todavía se necesitan esfuerzos importantes para armonizar los enfoques, elevar los estándares e introducir un procedimiento que garantice la calidad.
Se avecinan nuevos retos éticos relacionados con algunos de los peligros de nuestra era de «grandes datos» y «alta tecnología». Las universidades y sus comités de ética de la investigación deben prever los peligros de la investigación científica en abierto para la confidencialidad de los participantes; véanse, por ejemplo, los escándalos relacionados con la publicación de datos de OkCupid (Kirkegaard y Bjerrekær 2016) y la manipulación de las emociones de los usuarios (Kramer, Guillory y Hancock 2014). Se necesitan más trabajos publicados sobre las posibilidades y perspectivas de la tecnología en la investigación en los ETI y cómo podríamos adoptar las medidas necesarias para reducir el riesgo de impactos negativos. Los investigadores deben aprender a conciliar las exigencias institucionales de publicación, haciendo accesibles y transparentes los datos y procedimientos, con el deber moral de proteger su activo más valioso: los participantes en la investigación.