Ciências sociais
Pesquisa em ciências sociais, avaliada depois da crise de replicação
Os últimos quinze anos ensinaram às ciências sociais o que a análise flexível pode fazer com uma literatura. O rascunho de rubrica abaixo foi escrito nessa sombra, e a coorte fundadora vai cobrar a evidência de acordo com ele.
O que conta como evidência de competência em ciências sociais
As ciências sociais reformaram sua evidência em público: pré-registro, registered reports, dados e materiais abertos, projetos de replicação em larga escala. Um pré-registro honrado no artigo final, ou uma replicação conduzida com justiça, está hoje entre as evidências mais claras de competência em pesquisa que o campo produz — mais claras do que a maioria dos históricos de publicação.
O desenho é onde o julgamento aparece. Um experimento natural que isola genuinamente sua causa, um instrumento que mede o construto que nomeia, um survey cujo plano amostral corresponde às suas alegações — são conquistas difíceis, e um leitor experiente consegue pontuá-las a partir do artefato sozinho.
Fora da academia, as mesmas competências rodam avaliações de políticas públicas, programas de pesquisa de UX e equipes de people analytics. Um ensaio conduzido para um ministério, ou uma avaliação honesta de programa que relata um resultado nulo, é trabalho de pesquisa de primeira ordem — e as pessoas que o produzem raramente têm contagens de citações para mostrar.
A competência de revisão deixa registro próprio: pareceres de registered reports, leituras de red team de pré-registros, comentários publicados que identificaram um fator de confusão que os autores não viram. O mesmo vale para o serviço metodológico — validar escalas, construir painéis de survey, escrever a análise de poder que uma equipe de fato seguiu. Esses artefatos amostram precisamente o julgamento que a avaliação exige, e são legíveis sem a permissão de ninguém.
A rubrica de avaliação de ciências sociais, primeiro rascunho
Escrita depois da crise de replicação, esta rubrica trata um nulo pré-registrado como evidência mais forte de competência do que um positivo flexível.
- Estratégia de identificação
- O desenho isola a alegação causal que faz, e as ameaças à identificação são nomeadas e enfrentadas, não reconhecidas de passagem.
- Validade de medição
- Os instrumentos medem os construtos que alegam medir, com evidência, e o construto não deriva entre a medição e a conclusão.
- Disciplina analítica
- As escolhas de análise são pré-especificadas ou exploradas com transparência, a robustez é mostrada nas bifurcações razoáveis e o jardim dos caminhos que se bifurcam é fechado, não escondido.
- Honestidade de generalização
- As alegações declaram a população que cobrem, as limitações da amostra são precificadas nas conclusões e a validade externa é argumentada, não presumida.
Os avaliadores fundadores de ciências sociais vão refinar este rascunho tanto contra trabalho pré-registrado quanto pré-crise, para que o padrão precifique as duas eras com justiça.
O que os avaliadores fundadores de ciências sociais farão
Desafiar a rubrica onde o campo é mais difícil de pontuar: trabalho qualitativo, métodos mistos e desenhos em que o pré-registro é genuinamente impraticável.
Rodar rodadas de calibração em estudos públicos — pré-registros contra desfechos, alvos de replicação, avaliações aplicadas — e estudar as divergências entre leitores treinados.
Acumular os primeiros registros de calibração da disciplina, que vão ancorar o peso das avaliações quando a comunidade abrir para o campo inteiro.
Para quem é
A coorte precisa de cientistas sociais cujo ceticismo sobreviveu aos últimos quinze anos com a curiosidade intacta:
- Pesquisadores quantitativos que leem os métodos e o pré-registro antes do resumo.
- Pesquisadores aplicados em políticas públicas, UX e people analytics cujos melhores estudos nunca chegam aos periódicos.
- Replicadores e metacientistas que fizeram o trabalho menos recompensado e mais informativo do campo.
- Pesquisadores em início de carreira formados nas normas de ciência aberta que querem que essa formação conte.
Para quem não é
Dito com a mesma clareza que a rubrica exige de todo mundo:
- Quem quer uma vitrine para os próprios achados — avaliadores aqui leem o trabalho dos outros.
- Pesquisadores que vivem o escrutínio metodológico como hostilidade; a rubrica o aplica por igual.
- Quem não está disposto a carregar um registro visível da própria acurácia de pontuação.
- Quem espera pontuação ao vivo hoje, e não um padrão sendo rascunhado honestamente primeiro.
Candidate-se para avaliar ciências sociais
Ciências sociais vêm pré-selecionadas na candidatura. Aponte um perfil ORCID ou Scholar, uma página no OSF ou trabalho aplicado que possamos ler.