Artículo escrito por Eduardo Barros, PhD para la tercera edición del boletín de la SOCIPCO.
Por décadas, la escena de la selección de personas en Chile y Latinoamérica fue dominada por instrumentos y métodos de gran atractivo para sus proponentes, pero carentes de evidencia científica (e.g., test de Lüscher, grafología, pruebas de dibujos, etc.; Barros et al., 2018).
Actualmente, si bien hay síntomas de la disminución del uso de estas pruebas, aparece la promesa de instrumentos aún más atractivos: los test gamificados. En palabras de Frida Polli (2019), CEO de una empresa líder en este tipo de tests: "...si todas las empresas usaran Pymetrics tengo la certeza de que tendríamos una fuerza de trabajo más diversa, desde la perspectiva de género, etnia y nivel socioeconómico; tendría la seguridad de que las personas estarían más felices, serían más productivas y se quedarían por más tiempo en sus trabajos; no tengo duda de eso"
Entendiendo que esta empresa realiza un trabajo aparentemente serio, este nivel de sobre confianza en sus tests podría generar suspicacia; ¿corremos nuevamente el riesgo de que los tests gamificados se usen masivamente por razones más basadas en su atractivo y efectividad argumentada, que en su efectividad real?
La selección en Chile y Latinoamérica ha sufrido por años de un pecado mortal: se han desplegado recursos a ciegas. Dentro de organizaciones frecuentemente poco expertas en selección, se ha confiado en exceso en lo disponible. Test como el Lüscher y una metodología como la grafología –por nombrar solo un par– extendieron su uso porque tenían proponentes persuasivos y, aparentemente, buenas razones para su adopción.
Algunas de las razones para su frecuente uso: 1) se enseñaban de manera prevalente; 2) lograban que los/las postulantes no pudieran entregar respuestas deseables; 3) entregaban poder profesional (pocos sabían cómo interpretarlos). En suma, para los profesionales de la selección, eran un insumo atractivo, al punto que llegaron a ser una moda. Sin embargo, estos métodos presentaban dos características muy problemáticas: 1) no tenían evidencia de ser válidos para predecir el desempeño laboral y, 2) eran percibidos negativamente por los/las postulantes.
En los últimos 15 años, desde la academia, creció el cuestionamiento respecto de la escasa efectividad de los tests dominantes en Chile y comenzaron a surgir tests de selección facilitados por computador, adoptados inicialmente por grandes organizaciones. No podríamos decir que este movimiento de tests online, de calidad muy diversa, haya generado una atracción altísima en este mercado. Sin embargo, un cambio en esta línea se podría producir con la introducción más reciente de los tests gamificados y el uso de inteligencia artificial (IA).
Los tests gamificados son una categoría paraguas de características muy diferentes. De hecho, acotaremos el concepto solo a la evaluación y selección, no al contexto de capacitación (donde los objetivos son otros).
En breve, un test gamificado es un instrumento que evalúa una o varias características (e. g., personalidad, componentes cognitivos, disposiciones, etc.) a través de juegos. Estos juegos pueden requerir conductas similares a las que demanda un video juego comercial: elegir opciones, mover objetos, desplazarse por un laberinto, tomar decisiones rápidas, discriminar estímulos visuales, etc. Típicamente, quien responde al juego debe poner sus recursos atencionales sobre el problema presentado y responder con la precisión y rapidez que la tarea exija. Como en muchos video juegos, el involucramiento no solo es cognitivo, sino que puede ser emocional; se genera entusiasmo al responder.
Una característica de algunas de estas evaluaciones es que ofrecen una gama de juegos (por ejemplo, 10 a 12), donde cada juego apunta a características diferentes. Luego, no se entrega un puntaje por cada juego, sino que el patrón de resultados es comparado con los datos de empleados de alto desempeño. Esta comparación se realiza con IA y se calcula el mejor calce (fit) de la combinación de resultados que, al menos en teoría, identificaría a los mejores postulantes para un tipo de cargo. Adicionalmente, el argumento es que esta evaluación se hace libre de todo sesgo ya que el análisis es realizado por los algoritmos de IA y no se vería afectado por los datos sociodemográficos de las personas.
Los pros y las promesas de los test gamificados
Resulta comprensible que los tests gamificados se perciban como atractivos. Sin embargo, son muy recientes. A diferencia de los tests online más tradicionales (e.g., pruebas de personalidad vía inventarios y test de capacidad cognitiva), no cuentan aún con suficiente investigación (Bina et al., 2021)y sí cuentan con muchas afirmaciones sobre sus virtudes (reales y exageradas) de sus proponentes.
Aquí resumiremos algunos de los pros más consensuales.
Tal como sugerimos arriba, uno de los argumentos más potentes es que estos tests generan engagement (Georgiou et al., 2019). Por diseño, los tests gamificados debieran generar involucramiento y llevar a percibir la organización como altamente tecnologizada. En un mundo que valora lo digital, su uso podría favorecer la imagen de la empresa. En este sentido, se argumenta que los tests gamificados contribuyen a una mejor experiencia postulante.
En segundo lugar, virtualmente todos los test gamificados instan a realizar conductas, no solo a entregar percepciones (a diferencia de los inventarios de personalidad). Debido a que se focalizan en conducta, es teóricamente esperable que ésta sea un mejor predictor de criterios conductuales.
En tercer lugar, una preocupación central con los inventarios de personalidad es que los postulantes puedan distorsionar intencionalmente sus respuestas a su favor. Estas respuestas distorsionadas, son menos probables en un juego. Tal como un test tradicional de capacidad cognitiva, un test gamificado es improbable que sea respondido de forma socialmente deseable.
Finalmente, la promesa de usar IA para estimar un mejor fit entre candidatos y cargos es una promesa increíblemente atractiva. ¿Existe hoy algo más atractivo en RRHH que decir que se apoya en IA?
Los contras, las promesas difíciles de cumplir y las preguntas pendientes
La primera razón para observar con detalle a los tests gamificados es que no representan una categoría única: No existe un formato de juegos.
En una conferencia online el 2021 en Chile un presentador planteó, en esencia, que los tests gamificados están completamente validados y respaldados por la ciencia. Esta aseveración es sencillamente falsa. Por el contrario, al revisar las investigaciones publicadas, lo esperable sería concluir que la investigación disponible es muy escasa (Bina et al., 2021). Decir que “los tests gamificados están validados” es equivalente a decir que todo test que mide capacidad cognitiva es un test de calidad.
La capacidad cognitiva, como constructo, ha demostrado la mayor validez predictiva en 100 años de existencia de la selección (Barros et al., 2018), pero harina de otro costal sería decir que los tests de capacidad cognitiva están todos validados.
Esta confusión entre constructos y métodos no juega a favor de los tests gamificados. Por ejemplo, existe un juego basado en inflar un globo para medir el nivel de propensión al riesgo. Cuando la persona infla el globo obtiene puntaje, pero si se pasa de un cierto volumen, el globo puede explotar (y se pierde el puntaje). ¿Es este juego estable en su validez si se modifican sus características? ¿Cuán similar debería ser otro juego que mida el mismo constructo para tener una predictibilidad comparable?
Estas preguntas ilustran cómo un test gamificado podría ser muy dependiente de las operacionalizaciones elegidas y que, sin duda, requieren de más investigación.
Un segundo aspecto a considerar es que un test gamificado debería someterse a estándares internacionales de medición psicométrica (e.g., validez y confiabilidad). Que el juego sea entretenido o “bonito”, no es lo central. Por ejemplo, si buscamos medir la propensión a seguir conductas de seguridad, el nivel de atractivo de un test resulta menos relevante que su nivel de predicción de conductas seguras. Otra exigencia psicométrica internacional es que el desarrollo de estos tests garantice calidad a sus usuarios. Hoy no es un gran desafío tecnológico desarrollar estos juegos; por lo tanto, un riesgo existente es el de la copia a nivel de “forma” de juegos ya existentes, pero sin establecer su respaldo científico.
Ya existen ejemplos en Latinoamérica de empresas que se apropiaron de tests online y fueros “subidos” a atractivas plataformas, sin pagar sus copyright. Aunque los tests gamificados sean más complejos, éstos pueden ser copiados y vendidos sin el trabajo científico de fondo.
En tercer lugar, hasta ahora, los estudios de tests gamificados se han basado casi exclusivamente en muestras de profesionales y jóvenes (Bina et al., 2021). Esto tiene implicancias para evaluar sus resultados en diferentes poblaciones: ¿es posible que los gamers obtengan resultados más altos? ¿Podría darse que personas de más edad, obtengan resultados más bajos? Adicionalmente, diferentes poblaciones podrían tener una experiencia postulante diferente. Evidencia anecdótica en Chile, con trabajadores de mayor edad y menos calificados, hace pensar que, para este grupo, un test que se ve como juego, podría ser percibido como menos atractivo y menos justo.
Por último, los tests gamificados que usan múltiples juegos y que luego combinan sus resultados con IA, requieren de numerosos datos para estimar el mejor fit. En organizaciones del tamaño de las chilenas, lo esperable es que alcanzar estas cifras sea un gran desafío. Más aún, esto hace que toda estimación que se realice sea muy dependiente de los datos con los que se hizo el cálculo. De esta forma, un patrón para combinar los resultados del test en la empresa A, podría perfectamente no cumplirse en la empresa C. Adicionalmente, la promesa de la eliminación de sesgos con el mero uso de AI en procesos de selección tiene aún mucho camino por recorrer.
En conclusión, pocas cosas le han hecho tan mal a la selección como elegir sus métodos por las razones equivocadas. Los tests gamificados son innovadores y atractivos, pero como toda evaluación, están sujetos al error y deben ser más analizados y estudiados.
Temo que su alto atractivo, pueda una vez más, fomentar una moda que se imponga sin aplicar la mirada científica que podemos y debemos exigirle a la selección.
