Trinoceronte

Porque 140 caracteres a veces no son suficientes

Números, La Secuela

He comprobado lo que sospechaba: los seres humanos somos tan malos para “contar” que difícilmente creo que alguien entienda de verdad lo que dice cuando afirma con la boca llena que la Tierra tiene 40,000 km de perímetro o que hay 1,000 millones de neuronas.  La aplicación de un sencillo test muestra que cerca del 80% de los adultos no son capaces de adivinar cuántas cosas hay en un lugar si su número supera una cifra cercana a 100.

“Resultados del Test de Zuluaga: los adultos difícilmente sabemos “contar” hasta más de 100 http://bit.ly/resultados-test-zuluaga
Febrero 20 de 2014
http://bit.ly/trino-test-zuluaga-resultados

segment4-normalized-2-0_100En una entrada pasada (léala aquí, “Números“) discutía un hecho difícil de obviar.  Los humanos somos malos con los números.  Y no me refiero a que no sepamos nombrarlos o a que sepamos hacer operaciones sofisticadas con ellos.  Me refiero a que nuestra intuición tiene de todo menos de numérica.  Si nos pusieran como conferencistas delante de un auditorio con 500 personas, 1 de cada 2 aseguraría que hay menos de 200 y lo que es peor 1 de cada 20 podrían decir que hay casi 1,000.

Para comprobar esto diseñe un sencillo test.  Los que no lo han probado todavía los invito a hacerlo antes de leer esta entrada.  No les tomará más de 1 minuto.  No hay que pensar mucho y ni siquiera tendrán realmente que contar uno a uno los objetos.  Solo “contar” con las visceras.  El test lo pueden encontrar aquí: El Test de Zuluaga.

En el test le presente a más de 250 voluntarios, 5 imágenes con símbolos de colores del mismo tamaño regados en un área cuadrada.  En algunos casos los símbolos estaban regados al azar y en otros se encontraban organizados en filas y columnas.  El número de símbolos en las imágenes variaba en rangos controlados.  Para este experimento escogí 4 rangos: 10 a 30 objetos, 30 a 100, 100 a 500 y más de 500 (de 500 a 2000).  Por supuesto el conejillo de indias nunca sabía en que rango estaba (y los que lean esto y no han presentado el test por supuesto ya lo sabrán de modo que sus resultados tendrán seguramente un sesgo)

¿Por qué esos rangos?  Primero, porque intuía que hasta más o menos 30 cuerpos nuestra habilidad para “contar” es normalmente buena (hice unos experimentos sencillos con mis conejillos de india favoritos, mis hijos y esposa); menos de 10 es trivial hasta para un niño (miren este test tan bonito que me hizo conocer @cedec1).  Entre 30 y 100 empiezan las dificultades pero todavía la gente puede lograr algo decente.  Más de 100, difícil, pense.  Y miles, casi imposible.  En síntesis: los rangos se basaron justamente en mis propias intuiciones numéricas… ¡nada muy confiable!

¿Cuáles fueron los resultados?  Un reporte gráfico detallado con los resultados hasta la fecha en la que escribo esta entrada, 20 de febrero de 2014, lo pueden encontrar en la página http://bit.ly/resultados-test-zuluaga.  Saquen ustedes mismos sus conclusiones.  Yo les presento aquí las mías.

252 personas participaron del experimento, un 65% hombres y otro 35% mujeres (¡no entiendo por qué la asimetría!)  Las edades oscilaron entre los 16 y los 68 años (¡vaya rango!)  La edad de la mayoría oscilaba entre los 20 y los 25 años, tratándose principalmente de estudiantes universitarios (60%)  No faltaron los chistosos que en lugar de responder con números al test, respondieron con las palabras “millones” o “muchos” o los que nunca quisieron entregar su edad, sexo o educación.  Ninguno de ellos fue tenido en el análisis final.

Para analizar las respuestas compare, por cada segmento (entre 10 y 30, 30 y 100, etc.) la respuesta provista por las personas y el valor correcto del número de cuerpos en las imágenes.  Así, si una imagen tenía 100 círculos y la respuesta era de 80, calcule la diferencia (-20); para ser justos con rangos mayores (por ejemplo en el rango mayor a 500 un error de 20 es poco), dividí este resultado por el valor real.  Así el -20 del ejemplo anterior se convirtió en -0.2 o -20%.  En otras palabras una persona que dijo que habían 80 puntos en una gráfica de 100 obtuvo un puntaje de -20%.  A continuación conte el número de respuestas en intervalos de puntaje: de -100% a -90%, de -90% a -80% y así sucesivamente.  En estadística llamamos a eso construir un histograma de los datos.  En la figura a continuación les muestro por ejemplo los histogramas de puntajes para el rango de 30 a 100 objetos.

Puntaje del test para entre 30 y 100 puntos distribuídos al azar.

Puntaje del test para entre 30 y 100 puntos distribuídos al azar.

Puntaje del test para entre 30 y 100 puntos distribuídos por filas y columnas.

Puntaje del test para entre 30 y 100 puntos distribuídos por filas y columnas.

Como se ve allí, tan solo un 14% de las personas le atinaron al número de puntos (equivocándose solo por unas pocas unidades, ej. 43 en lugar de 45).  Esto en el caso en el que los puntos aparecieron regados al azar.  Sin embargo cuando los puntos estaban organizados el número de aciertos se duplico a un 28%.  Podría decirse que los adultos somos buenos para contar objetos organizados.  Sin embargo, también es posible interpretar este resultado diciendo que muchos hicieron “trampa” y contaron consciente o inconscientemente el número de filas y columnas (que a lo sumo eran 10 en este caso)  Bueno, trampa es una palabra muy fuerte.  Digamos que fueron recursivos a pesar de que las instrucciones claramente decían que no lo fueran “cuente sin contar”.

Es significativo notar como en el caso de los números regados al azar, hubo 3 veces más personas que “contaron” un número menor de puntos que el que realmente había (asimetría que no se presento notablemente cuando los puntos estaban organizados). 62% de las personas creyeron que habían menos puntos, frente a 24% que creyeron que habían mas.  Es decir, una vez nuestro cerebro deja de contar bien, subestimamos el número de cosas que vemos.

Pero 30 o 100 objetos es demasiado para nuestro “centro del conteo” en el cerebro.  Creería uno que a la gente le va mejor con menos de 30 cosas.  Sin embargo los resultados no parecen ser tampoco alentadores en ese caso.  En las figuras a continuación mostramos la distribución de puntajes en este rango para dos grupos de edades diferentes: menos de 25 años y más de 25 años.

Resultados para mayores  de 25 años cuando tienen que contar menos de 30 cosas.

Resultados para mayores de 25 años cuando tienen que contar menos de 30 cosas.

Resultados para menores de 25 años cuando tienen que contar menos de 30 cosas.

Resultados para menores de 25 años cuando tienen que contar menos de 30 cosas.

Si bien el puntaje en el rango de 10 a 30 es mas alto que en el rango de 30 a 100 (pasamos de 14% de aciertos a 25% de aciertos) esto es debido principalmente a personas mayores de 25 años.   Los menores solo obtuvieron un modesto 15% de aciertos y en su mayoría sobre estimaron el número.  Si bien no hay muchos datos para crear una “ley de números pequeños para pipiolos” podría decirse (irresponsablemente) que los jóvenes tienden a ver más objetos de los que realmente hay, sobre todo cuando hay un puñado de cosas.

Los resultados más tristes indudablemente son los que se obtienen cuando queremos “contar” más de 500 cosas.   Para resaltar lo mal que nos va, diseñe otro tipo de gráfico.  Para hacerlo calcule el puntaje de acierto, pero en lugar de poner -20% a alguien que dijerá 80 cuando hay 100, le asigne simplemente 20% (positivo)  Este puntaje entonces solo mide que tanto nos equivocamos, pero no reconoce si nos equivocamos por lo bajo o por lo alto.

Para representar los resultados de este “puntaje absoluto”, tampoco use un histograma normal.  En su lugar conté cuántas personas obtenían un valor mayor a un determinado puntaje, cuántos obtuvieron mas de 5%, mas de 10%, mas de 20%, etc.  Por supuesto el número de personas que obtuvieron un puntaje de más del 5% es mayor que los que obtuvieron más del 20% (los primeros incluyen a los segundos)  En estadística llamamos a esto el “histograma acumulado”.  En la siguiente figura muestro los histogramas acumulados para los rangos de 30 a 100 y de 500 en adelante.

Histograma acumulado de los puntajes en el rango de 30 a 100 (distribuidos aleatoriamente)

Histograma acumulado de los puntajes en el rango de 30 a 100 (distribuidos aleatoriamente)

Histograma acumulado en el rango de más de 500.

Histograma acumulado en el rango de más de 500.

Como se ve claramente allí, cuando nos piden contar cientos de cosas, quedamos completamente perdidos.  Mientras que un 89% de las personas que se les pidió “contar” entre 30 y 100 cosas, se equivocan por la mitad de ese número (es decir si les muestran 100 objetos 9 de 10 creerán que hay entre 50 y 100 o entre 100 y 150) cuando hay más de 500 objetos, más de la mitad creen que hay un número mayor o menor que el número real por más de un 50%.  Es decir 1 de cada 2 personas cuando se las pone frente a 1,000 objetos creerán que hay más de 1,500 o menos de 500.  ¡Vaya error!

Pero eso no es todo.  Al parecer con grandes números los adultos tendemos ver menos objetos de los que realmente hay.   Miren la tendencia en los gráficos abajo:

Resultados para menores de 25 años cuando tienen que contar menos de 30 cosas.

Resultados para menores de 25 años cuando tienen que contar menos de 30 cosas.

Puntaje del test para entre 30 y 100 puntos distribuídos al azar.

Puntaje del test para entre 30 y 100 puntos distribuídos al azar.

Resultados para el rango de 100 a 500.

Resultados para el rango de 100 a 500.

Resultados para la distribución de puntajes cuando hay más de 500 objetos

Resultados para la distribución de puntajes cuando hay más de 500 objetos

Se ve como el pico del puntaje se va corriendo significativamente a la izquierda (puntajes negativos) a medida que aumenta el número de objetos.

Un detalle curioso que se ve en la última figura de la serie anterior.  Dado que los puntos en las imagenes que tenían más de 500 objetos estaban organizados por filas y columnas, un número anormalmente para la tendencia de la figura, acerto (obtuvo un puntaje del 0%)  Esto  una de dos cosas: o bien muchos hicieron trampa y contaron filas y columnas o de nuevo parece que en promedio a los adultos nos va bien con el orden.

¿Y las diferencia entre hombres y mujeres?  No es muy notoria realmente.  Tal vez lo único que pude notar fue que las damas que respondieron el test en el rango entre 30 y 100 sobre ,estimaron con más frecuencia el número de objetos.  ¿Será este un signo de la tendencia femenina a sobre dimensionar las cosas?  ¡Definitivamente no! En otros rangos sus respuestas fueron muy similares a las de los hombres.

La conclusión definitiva para mí es que los adultos tendemos a fallar significativamente en nuestra apreciación intuitiva de la cantidad de cosas que hay en un lugar, cuando esa cantidad es de algunos centenares.  Estando la ciencia “poblada” de números que normalmente superan con creces esta cifra deberíamos preguntarnos si no hace falta que eduquemos mejor a los niños para intuir números cada vez más grandes.

Tal vez algunos opinen que no hace falta: contar solo es importante cuando uno tiene vacas o gallinas (que normalmente son menos que 100)  Pero la realidad es otra.  Cuando les consultaron a los ingenieros del Challenger cuál era la probabilidad de que el transbordador fallara dijeron que era 1 en 100,000; Richard Feynman, que tuvimos la suerte fuera uno de los investigadores, demostró que en realidad era 1 en 300.  ¿Sabe la gente realmente la INCREÍBLE, ABISMAL y FANTÁSTICA diferencia entre 100,000 y 300?  Yo creo que no.

Coda.  Agradezco a todos los amigos que me ayudaron a divulgar la entrada del blog en la que propuse esta reflexión y que fue el origen del Test de Zuluaga.  Gracias a sus retweets pude conseguir 250 incautos para el test.  Reconocerán a estos amigos por sus cuentas en twitter @PlanetarioMed, @emulenews, @ramirociencia, @blogmentes, @CDEC1.  Naturalmente también agradezco a los que sirvieron de conejillos de india.  Incluyendo los “tramposos”.

Advertencia final.  Esta entrada de blog carece del rigor de un artículo científico.  Sus métodos pueden ser considerados por investigadores realmente serios, bastante dudosos o mal fundamentados.  No use sus resultados como base de un trabajo más serio.  Mi único propósito aquí era divertirme investigando estas cosas y responder una pregunta que tenía desde hacía mucho tiempo.  Sin embargo si el trabajo llega a inspirar a alguien para hacer algo serio y bien fundamentado ¡no olvide enviarme una copia y una postal!

A los que preguntan… cómo hice esto en un par de días, es decir, inventarme un test, crear una página web para aplicarlo y después construir los histogramas arriba mostrados, les respondo fácilmente: suscríbanse a mi canal en YouTube “#PUM Prográmelo Usted Mismo” y siga mi blog con el mismo nombre.  Allí encontrarán cómo programar cosas como esta y otras aún más inútiles.  Todo lo que hice aquí lo programe en Python y PHP.

Anuncios

Navegación en la entrada única

Un pensamiento en “Números, La Secuela

  1. Se dice que “la relación entre el estímulo y la percepción corresponde a una escala logarítmica”, así que me temo, nuestros sentidos estarán limitados por una asíntota definida, y tenderemos más a ella entre más lejos nos encontremos de las cantidades que manejamos actualmente. Esa discusión la he tenido mucho en otras áreas. En economía y finanza, por ejemplo, es curioso ver cómo las personas pueden hacer maravillas con $ 100.000, pero a veces resulta más caótico verlas con $ 1.000.000. Cuando la cantidad se aleja de su percepción cotidiana se descontrolan; este es un campo práctico, aprovechado por la mercadotecnia y sufrido por los compradores compulsivos; aunque hay temáticas que abarcan este fenómeno formalmente[1]. Sería un buen experimento social intentar hacer comprender a una población números gigantes, y ver los resultados.

    [1]: arXiv:1009.3527 (no puedo publicar URLs, sorry).

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: