Mala praxis científica (V). Resumen y Conclusiones

Esta es la última entrega de la serie sobre mala praxis científica, respecto de ciencia  entendida como el acto de inscribir por escrito y en las publicaciones adecuadas los aportes de investigaciones que se presumen realizadas conforme a normas claramente establecidas al interior de cada disciplina particular.

Aprovecho la ocasión para agradecer el entrenamiento que recibimos por parte de los profesores de la carrera de Ciencias Antropológicas en la Facultad de Filosofía y Letras de la Universidad de Buenos Aires. Después de varios años, y casi sin darme cuenta me encuentro más de una vez leyendo artículos en la enorme biblioteca de Babel que es Internet, y pensando “Si esto lo presentaran en Filo, sería rechazado.”

¡Gracias Profes!

Fraude científico (V). Resumen y conclusiones

Basado en la serie ofrecida por Joaquín Sevilla

El fraude científico existe, existe desde siempre y hay casos entre los científicos más famosos. Desde Ptolomeo hasta la actualidad, pasando por Mendel, Galileo o el hombre de Piltdown, los casos son innumerables. Y no son algunos casos anecdóticos, según estudios realizados entre el 66% y el 72% de los científicos admite realizar algún tipo de malas prácticas y uno de cada 50 admite falsificar o inventar resultados. Lamentablemente no existe método científico normativo ni ninguna otra característica que proporcione criterios de demarcación definidos a priori entre lo que es científico y lo que no lo es.

La idea de que la mayoría de los científicos son honestos y hay unas pocas manzanas podridas es demasiado simplista. Es necesario un modelo más elaborado que comienza por mostrar todo un continuo de comportamientos inadecuados en el que no es fácil colocar un umbral que delimite las manzanas sanas de las podridas. De hecho, y siguiendo los trabajos de Dan Ariely, podemos establecer la existencia de un umbral de "burradas" aceptable tanto por el individuo como por la comunidad.

Se pueden identificar dos tipos de fraude: el movido inicialmente por el deseo de descubrimiento (tipo 1) y el derivado de la presión profesional (tipo 2). En el primero el científico empuja progresivamente el umbral de lo aceptable, manteniendo una autopercepción de honorabilidad mientras que en el segundo se salta el umbral a conciencia.

Contribuyen al de tipo 2 presiones externas como la necesidad de publicación e internas como la vanidad.

El de tipo 1, más consustancial al avance científico, se produce cuando se explora sin éxito los bordes del paradigma vigente (en términos de Kuhn) y corre riesgos para derivar en ciencia patológica.

El modelo propuesto se resume gráficamente en la figura 1, y esquemáticamente en los puntos ofrecidos a continuación.

Figura 1. Resumen esquemático del modelo propuesto para analizar el fraude. Los comportamientos cuestionables forman un continuo sin fronteras definidas en el que hay un umbral aceptable. Ese umbral se puede empujar o saltar dando lugar a dos tipos de fraude. Las prácticas cuestionables masivas están en el entorno del umbral aceptable, quedando un número mucho más reducido de auténticas manzanas podridas. (Imagen original de César Tomé)

El umbral aceptable. Clasificación esquemática

a)    El estado “honesto” de partida considera un umbral de “burradas” aceptable

     b)  Ingreso en la pendiente inclinada hacia dos tipos de delito:

Tipo 1.- Empujar el umbral en pos de probar una idea sin importar cómo.

Tipo 2.- Saltarse directamente el umbral en pos de méritos egoístas.

c)   El fraude tipo 2 tiene que ver con el equilibrio psicológico del individuo que cede ante presiones inconfesables.

d)    En el fraude tipo 1 se incurre al procurar salir del entorno seguro del paradigma según Kuhn en busca de hipótesis revolucionarias sin que importe cómo sostenerlas.

e)    A la luz de este modelo podemos entender mejor los resultados de los estudios antes comentados. Las prácticas que aceptan llevar a cabo la mayoría de los científicos (recordemos, entre el 66% y el 72%) estarían dentro  del umbral de lo aceptable

Cuando se pregunta por errores de poca monta, expresamente se reconoce que no está bien, pero de alguna forma se asume que tampoco está tan mal y que “a todo el mundo le pasa”. (Ariely)

Las prácticas que son manifiestamente fraudulentas y voluntarias, como inventar datos, o sabotear investigaciones de la competencia, serían realizadas por una minoría, lo que resulta compatible con la idea de “unas pocas manzanas  podridas”.

La existencia de errores y fraudes en la investigación científica se relacionan con los siguientes escollos para el avance de la ciencia: retractación de artículos e irreproducibilidad de resultados.

El número de artículos retirados de las publicaciones, aunque es muy bajo, crece drásticamente desde el año 2000. Estudios recientes intentando reproducir resultados publicados, por ejemplo en psicología, muestran que en la gran mayoría de los casos los resultados no se consiguen reproducir. Un problema que está lejos de resultar anecdótico en bastantes disciplinas científicas.

Para el individuo que se dedica a ella, la ciencia es tanto una actitud vital como una profesión. Además, para la sociedad es un sector de actividad productiva, y en este último sentido la ciencia ha cambiado enormemente en las últimas décadas. En el período de 1996 a 2011 ha habido 20 millones de artículos escritos por 15 millones de autores (1). La ciencia se ha convertido en una actividad de masas.

Las publicaciones científicas existen desde el siglo XVII, pero desde la generalización de Internet se pueden consultar con una facilidad y en un número inimaginable hace tres décadas. Por otro lado, los distintos organismos financiadores de la investigación cada vez son más exigentes con los científicos a su servicio: con menos dinero hay que conseguir más publicaciones en menos tiempo. En mi opinión estas son las razones fundamentales que están detrás de la evolución al alza de las malas prácticas en ciencia que, como veíamos, están aflorando aceleradamente.

La presión por publicar la sufren, de manera angustiosa en ocasiones, todos los miembros de la profesión. Esto hace que el colectivo sea más indulgente ante muestras escasas, análisis estadísticos pobres, descripciones de la metodología poco claras, conflictos de intereses, etc. En resumen, el umbral de las prácticas aceptables se ha desplazado alejándose de la pulcritud, al menos en algunos casos.

Por otro lado, esa disminución de la calidad de lo publicado no pasa desapercibida ante el escrutinio de un número tan vasto de científicos como el que hoy día rastrea las bases de datos a la caza de ideas para sus próximos trabajos.

La presión por publicar desplazó el acento de la calidad a la cantidad. La presión por el índice de impacto parecía una forma ingeniosa de recuperar el nivel de calidad sin reducir la presión, pero parece que eso está llevando a una disminución de la calidad global, aumentando la tolerancia de los científicos con prácticas dudosas y, en algunas disciplinas, llegando a poner en cuestión el propio avance científico de las mismas.

Un sistema que ha crecido de una forma tan explosiva probablemente tiene aún que encontrar una armonización adecuada de los distintos intereses que alberga.

En este camino, la presión por la productividad se tendrá que ver atemperada por la relevancia y la calidad de dichos productos. Para conseguirlo habrá que tener en cuenta cuestiones tales como la incorporación de proyectos colaborativos a gran escala, la cultura de la replicación, el registro, el establecimiento de buenas prácticas de reproducibilidad, la mejora de métodos estadísticos, la estandarización de definiciones y análisis, etc. según recomendaciones de Ioannidis (ver nota 1).

El umbral de lo aceptable se ha desplazado hasta límites que en realidad no queríamos aceptar y es necesario trabajar para devolverlo a un lugar más razonable.

Referencias:

(1) Ioannidis JPA (2014) How to Make More Published Research True. PLoS Med 11(10): e1001747. doi: 10.1371/journal.pmed.1001747