Ciencias sociales
Investigación en ciencias sociales, evaluada después de la crisis de replicación
Los últimos quince años le enseñaron a las ciencias sociales lo que el análisis flexible puede hacerle a una literatura. El borrador de rúbrica de abajo está escrito a esa sombra, y la cohorte fundadora le exigirá la evidencia en consecuencia.
Qué cuenta como evidencia de competencia en ciencias sociales
Las ciencias sociales reformaron su evidencia en público: prerregistro, registered reports, datos y materiales abiertos, proyectos de replicación a gran escala. Un prerregistro honrado en el artículo final, o una replicación conducida con justicia, está hoy entre las evidencias más claras de competencia investigadora que produce el campo — más claras que la mayoría de los historiales de publicación.
El diseño es donde se muestra el juicio. Un experimento natural que aísla genuinamente su causa, un instrumento que mide el constructo que nombra, una encuesta cuyo marco muestral corresponde a sus afirmaciones — son logros difíciles, y un lector con experiencia puede puntuarlos a partir del artefacto solo.
Fuera de la academia, las mismas destrezas corren evaluaciones de políticas, programas de investigación de UX y equipos de people analytics. Un ensayo conducido para un ministerio, o una evaluación honesta de programa que informa un resultado nulo, es trabajo de investigación de primer orden — y quienes lo producen rara vez tienen recuentos de citas que mostrar.
La destreza de revisión deja su propio registro: revisiones de registered reports, lecturas de red team de prerregistros, comentarios publicados que identificaron una variable de confusión que los autores no vieron. Lo mismo vale para el servicio metodológico — validar escalas, construir paneles de encuestas, escribir el análisis de potencia que un equipo realmente siguió. Estos artefactos muestrean precisamente el juicio que la evaluación exige, y pueden leerse sin el permiso de nadie.
La rúbrica de evaluación de ciencias sociales, primer borrador
Escrita después de la crisis de replicación, esta rúbrica trata un nulo prerregistrado como evidencia de competencia más fuerte que un positivo flexible.
- Estrategia de identificación
- El diseño aísla la afirmación causal que hace, y las amenazas a la identificación se nombran y se enfrentan en lugar de reconocerse de pasada.
- Validez de la medición
- Los instrumentos miden los constructos que dicen medir, con evidencia, y el constructo no deriva entre la medición y la conclusión.
- Disciplina analítica
- Las decisiones de análisis están preespecificadas o se exploran con transparencia, la robustez se muestra en las bifurcaciones razonables y el jardín de los senderos que se bifurcan se cierra, no se esconde.
- Honestidad en la generalización
- Las afirmaciones declaran la población que cubren, las limitaciones de la muestra se descuentan en las conclusiones y la validez externa se argumenta en lugar de asumirse.
Los evaluadores fundadores de ciencias sociales refinarán este borrador contra trabajo prerregistrado y anterior a la crisis por igual, para que el estándar tase con justicia ambas eras.
Qué harán los evaluadores fundadores de ciencias sociales
Desafiar la rúbrica donde el campo es más difícil de puntuar: trabajo cualitativo, métodos mixtos y diseños donde el prerregistro es genuinamente impracticable.
Correr rondas de calibración con estudios públicos — prerregistros contra desenlaces, objetivos de replicación, evaluaciones aplicadas — y estudiar los desacuerdos entre lectores entrenados.
Acumular los primeros registros de calibración de la disciplina, que anclarán el peso de la evaluación cuando la comunidad se abra al campo entero.
Para quién es
La cohorte necesita científicos sociales cuyo escepticismo sobrevivió a los últimos quince años con la curiosidad intacta:
- Investigadores cuantitativos que leen los métodos y el prerregistro antes que el resumen.
- Investigadores aplicados en políticas públicas, UX y people analytics cuyos mejores estudios nunca llegan a las revistas.
- Replicadores y metacientíficos que han hecho el trabajo menos recompensado y más informativo del campo.
- Investigadores en inicio de carrera formados en las normas de la ciencia abierta que quieren que esa formación cuente.
Para quién no es
Dicho con la misma claridad que la rúbrica le exige a todos los demás:
- Quien quiere una plataforma para sus propios hallazgos — los evaluadores aquí leen el trabajo de otros.
- Investigadores que viven el escrutinio metodológico como hostilidad; la rúbrica lo aplica por igual.
- Quien no está dispuesto a cargar un registro visible de su exactitud de puntuación.
- Quien espera puntuación en vivo hoy y no un estándar redactado con honestidad primero.
Postúlate para evaluar ciencias sociales
Ciencias sociales viene preseleccionada en la postulación. Enlaza un perfil de ORCID o Scholar, una página de OSF o trabajo aplicado que podamos leer.