Escaneando el horizonte del Neuromarketing con f-MRI

Amigas y amigos:

Me permito compartir con Ustedes un artículo que será publicado el próximo mes en el Review de Neurociencias del prestigiadísmo Nature (Poldracket  al 2017); mismo que considero es posible que llegue a ser de gran trascendencia para la Neurociencia (por lo menos, debería), y por ende para el Neuromarketing, tanto por las conclusiones a las que arriba, como por la reputación académica de sus autores.


El estudio en cuestión consiste en un meta-análisis bastante exhaustivo de 584 estudios (1,131 muestras) de resonancia magnética (f-MRI), que aborda el grave problema de que ciertas prácticas de investigación en la Neurociencia, parecen estar detrás de la conocida falta de reproducibilidad de resultados; la cual es una condición sine que non de cualquier investigación que tenga aspiraciones científicas. Tal y como sinceramente nos advierten los autores:

"... There is clearly concern that these issues may be underminig the value of science ..."(p. 115)

El artículo identifica al menos cuatro elementos que dan pie a dicho problema de irresolubilidad: a) "HARKing” (i.e. la presentación de hipótesis post hoc como si hubieran sido planteadas ex ante; Kerr 1998), b) fallas en el software utilizado, c) mala descripción de los procesos seguidos, y d) falta de potencia estadística. Este último problema es particularmente relevante, no solo porque la falta de potencia reduce la probabilidad de encontrar resultados efectivamente verdaderos (si es que existen), sino porque también aumenta la probabilidad de confundir con verdaderos, resultados que en realidad son falsos verdaderos.

Como es bien sabido, el poder estadístico de un experimento está estrechamente relacionado con el tamaño muestral. De acuerdo con los autores, el tamaño medio muestral medio de los estudios de f-MRI se ha triplicado durante los últimos 20 años, al pasar de una media 10 observaciones en 1995 a 28.5 en el 2015. En el mismo sentido, la cantidad de experimentos con muestras de 100 o más observaciones, aunque sigan siendo excepcionalmente raras por su elevadísimo costo, se han duplicado durante los últimos tres años (pasando de 8 a 17 experimentos). Sin embargo, no obstante lo esperanzador de esta tendencia, lamentablemente, el tamaño muestra medio por grupo en estudios multigrupales, todavía sigue por debajo del estándar crítico mínimo (20 observaciones por grupo; Simmons, Nelson y Simonsohn 2011).

Fuente: Poldrack et al (2017: 118)

¿Qué consecuencia tiene el manejo de muestras experimentales tan pequeñas?. El problema fundamental radica en la potencia estadística que facultan muestras tan pequeñas como éstas, poniendo en duda la confiabilidad de los resultados que ha alcanzado la Neurociencia durante las últimas décadas. Como se puede ver en la figura 1b, dada la evolución del tamaño muestral a lo largo de los últimos 20 años, la magnitud del efecto estándar requerido para establecer significancia estadística (i.e. que podamos concluir que hay una diferencia de activación en una región cerebral determinada, con una probabilidad de encontrar un positivo verdadero del 80% y una probabilidad de falso positivo del ) se ha reducido del rango de 1.4-1.5 (en 1995), a un aproximado de 0.75 en el 2015; por lo que atinadamente destacan los autores que:

“… Despite the decreases in these hypothetical required effect sizes over the past 20 years [gracias al incremento notable de los tamaños muestrales], in 2015 the median study was only sufficiently powered to detect relatively large effects of greater than ~ 0.75 … “ (p. 116)

Fuente: Poldrack et al (2017: 118)

La situación real, sin embargo, es tanto más preocupante. Como se puede apreciar en la siguiente ilustración, la magnitud media estandarizada del efecto BOLD (i.e. medida con la  d de Cohen) en experimentos en los que se llevaron a cabo tareas características de la neurociencia (i.e. actividad motriz, experiencia de emociones, toma de riesgos), es todavía menor, particularmente en el caso de la experiencia de emociones (amígdala; efecto estandarizado 0.45-0.55) y la toma de riesgos (i.e. núcleo accumens, efecto estandarizado = 0.4).

Por consiguiente, los autores concluyen preocupantemente que:

“… the average fMRI study remains poorly powered for capturing realistic effects … “ (p. 117) 

advirtiendo que:

“… The use of heuristic sample-size guidelines (for example, those that are based on sample sizes used in previously published studies) is likely to result in a misuse of resources, either by collecting too many or (more likely) too few subjects … “ (p. 117)

“… We do not believe that the solution is to admit weakly powered studies simply on the basis that the researchers lacked the resources to use a larger sample …” (p.117)

Lindstrom (2008), Capítulo 6

Pero, ¿qué consecuencias tienen estas conclusiones para el caso de Neuromarketing?.  Desde mi punto de vista, una de las características que distinguen al Neuromarketing del Marketing tradicional es un mayor compromiso con los mejores métodos y estándares científicos. Personalmente, sin duda me fascinan, pero sin convencerme, los resultados tan espectaculares que dicen haber alcanzado algunos de los “gurús” más famosos del medio, como es el caso de Martin Lindstrom. Por ejemplo, me preocupa muchísimo la poca transparencia de los estudios en los que dice sustentar sus hipótesis más famosas, como la de que la experiencia a nivel neuronal de una marca fuerte es indistinguible de la de una experiencia mística  (Lindstrom 2008). Más allá de que los detalles de dicha investigación no hayan sido hechos públicos, lo que conllevaría su descalificación en cualquier comunidad que se precie de ser científica, en el mejor de los casos, cabe dudar de la potencia estadística de sus resultados.

Pero, ¿es acaso esto importante?; considero que sí. Personalmente, no comulgo con la idea de que las presiones del mercado (particularmente presupuestales), puedan llevarnos a prostituir lo que en principio debería ser un esfuerzo sincero por comprender mejor al consumidor, desde una perspectiva rigurosamente más científica que la del marketing tradicional.

¿Estarían Ustedes de acuerdo?.

Muchas gracias por la amabilidad de su atención,,

FBG

Referencias

Kerr NL. (1998). “HARKing: hypothesizing after the results are known”. Pers. Soc. Psychol. Rev. 2, 196–217.

Lindstrom M. (2008). Buyology: Truth and Lies About Why We Buy”. New York, Doubleday.

Poldrack RA, Baker CI, Durnez J, Gorgolewski KJ, Matthews PM, Munafò MR, Nichols TE, Poline JB, Vul E, Yarkoni T. (2017). “Scanning the horizon: towards transparent and reproducible neuroimaging research”. Nature Reviews: Neuroscience 18, Febrero.

Simmons JP, Nelson LD, Simonsohn U. (2011). “False positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant”. Psychological Science 22, pp. 1359–1366.