Psicología
Investigación en psicología, evaluada tras la crisis de replicación
Cómo se manifiesta el juicio psicológico fuera de los materiales suplementarios de una revista, y el estándar al que lo someterá la primera cohorte. Todo lo que sigue es un borrador público, a propósito.
Qué cuenta como evidencia de habilidad en investigación psicológica
La psicología reformó su cultura de la evidencia antes y con más fuerza que la mayoría de los campos: preregistro, informes registrados, datos y materiales abiertos, y grandes proyectos de replicación multi-laboratorio son hoy rutina. Un preregistro honrado en el manuscrito final, o un script de análisis que reproduce cada cifra reportada a partir de los datos crudos, es una evidencia de habilidad más fuerte que la revista donde el resultado terminó publicado.
Fuera de la academia, el mismo juicio dirige la investigación de UX, la medición de resultados clínicos y los equipos de people analytics. La investigadora que diseñó un estudio de usabilidad que efectivamente aisló la variable que decía aislar, o quien validó una medida clínica en la que un equipo de producto puede confiar, hace investigación psicológica, se llame así o no.
Lo más difícil de ver en una lista de publicaciones es qué no llegó a entrar: un estudio bien potenciado que no encontró nada, un chequeo de manipulación que falló y aun así se reportó. Los evaluadores leen precisamente buscando esa candidez, porque ahí es donde se reconstruyó la credibilidad del campo.
El trabajo de revisión también es evidencia. Las revisiones de informes registrados, los intentos de replicación de una afirmación específica y las críticas públicas que identificaron un análisis con p-hacking toman una muestra de la misma habilidad de lectura que esta comunidad está construida para calificar — y son visibles sin el permiso de nadie.
La rúbrica de evaluación de psicología, primer borrador
Escrita a la sombra de la crisis de replicación, esta rúbrica trata un nulo preregistrado como evidencia de habilidad más fuerte que un positivo flexible.
- Validez de medición
- Los instrumentos y las manipulaciones miden el constructo que dicen medir, con evidencia de ello, y el constructo no deriva silenciosamente entre el método y la conclusión.
- Disciplina analítica
- Los análisis están preespecificados o son transparentemente exploratorios, la robustez se muestra a través de bifurcaciones razonables, y el jardín de senderos que se bifurcan está cerrado, no oculto.
- Ajuste entre muestra y afirmación
- La potencia, el marco muestral y la población coinciden con lo que afirma la conclusión, y las limitaciones están incorporadas a la interpretación en lugar de aparcadas en una nota al pie.
- Transparencia de replicación
- Los datos, materiales y código se comparten de una forma que permite a otra persona realmente verificar el resultado, y los intentos previos fallidos o nulos se divulgan en lugar de archivarse.
Los evaluadores fundadores de psicología pondrán a prueba este borrador primero — incluso contra su propio trabajo pasado.
Qué harán los evaluadores fundadores de psicología
Primero, desarmar la rúbrica: dónde recompensa el teatro del preregistro sobre el rigor real, dónde castiga trabajo exploratorio que lo declara honestamente, dónde una dimensión no puede realmente calificarse a partir de un artefacto real.
Luego correr rondas de calibración sobre estudios públicos — preregistros contrastados con resultados, objetivos de replicación, evaluaciones aplicadas — calificando de forma independiente y comparando la dispersión, de modo que las primeras puntuaciones publicadas lleven una incertidumbre conocida.
A medida que la comunidad se abra, esos registros de calibración sembrarán el sistema de ponderación: los primeros psicólogos cuyo historial de evaluación es en sí mismo parte del instrumento.
Para quién es esto
La cohorte fundadora busca psicólogos cuyo juicio ya está en uso diario, dondequiera que lo practiquen:
- Investigadores cuantitativos y clínicos que leen el preregistro antes que el resumen.
- Investigadores de UX y científicos de people analytics cuyos mejores estudios nunca llegan a una revista.
- Replicadores y metacientíficos que han hecho el trabajo menos recompensado y más informativo del campo.
- Investigadores en etapa temprana formados en normas de ciencia abierta que quieren que esa formación cuente.
Para quién no es esto
La autoselección importa más que cualquier filtro que pudiéramos escribir, así que aquí está la versión honesta:
- Quien busca una credencial rápida — la etapa fundadora produce estándares, no insignias.
- Investigadores que buscan promover sus propios hallazgos; aquí se evalúan los artefactos de otras personas, bajo una rúbrica publicada.
- Quien se incomode con que su precisión de evaluación quede registrada — el registro de calibración es el punto de este diseño.
- Quien necesite una plataforma de calificación activa hoy; la mecánica de esta página está en diseño, y el tiempo verbal es deliberado.
Postular para evaluar psicología
Psicología está preseleccionada en la solicitud. Enlaza una página de OSF, un perfil de ORCID o un repositorio que podamos leer.