Psicologia
Pesquisa em psicologia, avaliada depois da crise de replicação
Como o julgamento psicológico aparece fora do material suplementar de um periódico, e o padrão a que a coorte fundadora vai submetê-lo. Tudo abaixo é um rascunho em público, de propósito.
O que conta como evidência de competência em pesquisa psicológica
A psicologia reformou sua cultura de evidências mais cedo e com mais rigor do que a maioria dos campos: pré-registro, registered reports, dados e materiais abertos, e grandes projetos de replicação multi-laboratório hoje são rotina. Um pré-registro respeitado no relatório final, ou um script de análise que reproduz cada número relatado a partir dos dados brutos, é evidência mais forte de competência do que o veículo em que o resultado acabou saindo.
Fora da academia, o mesmo julgamento conduz pesquisa de UX, medição de desfechos clínicos e equipes de people analytics. A pessoa que desenhou um estudo de usabilidade que de fato isolou a variável que dizia isolar, ou que validou uma medida clínica em que uma equipe de produto pôde confiar, está fazendo pesquisa em psicologia, apareça ou não a palavra no crachá.
A coisa mais difícil de enxergar numa lista de publicações é o que não entrou nela: um estudo bem-poderado que não encontrou nada, uma checagem de manipulação que falhou e foi relatada mesmo assim. Avaliadores leem exatamente atrás disso, porque é aí que a credibilidade do campo foi reconstruída.
Arbitrar também é evidência. Revisões de registered reports, tentativas de replicação de uma alegação específica e críticas públicas que identificaram uma análise com p-hacking amostram a mesma competência de leitura que esta comunidade existe para pontuar — e são visíveis sem a permissão de ninguém.
A rubrica de avaliação de psicologia, primeiro rascunho
Escrita à sombra da crise de replicação, esta rubrica trata um nulo pré-registrado como evidência mais forte de competência do que um positivo flexível.
- Validade de medição
- Instrumentos e manipulações medem o construto que dizem medir, com evidência para isso, e o construto não deriva silenciosamente entre o método e a conclusão.
- Disciplina analítica
- Análises são pré-especificadas ou transparentemente exploratórias, a robustez é mostrada através de bifurcações razoáveis, e o jardim de caminhos que se bifurcam é fechado, não escondido.
- Ajuste entre amostra e alegação
- Poder estatístico, marco amostral e população combinam com o que a conclusão alega, e as limitações são incorporadas à interpretação em vez de estacionadas numa nota de rodapé.
- Transparência de replicação
- Dados, materiais e código são compartilhados numa forma que permite que outra pessoa de fato verifique o resultado, e tentativas anteriores fracassadas ou nulas são divulgadas em vez de arquivadas.
Avaliadores fundadores de psicologia vão testar este rascunho sob pressão primeiro — inclusive contra o próprio trabalho passado deles.
O que os avaliadores fundadores de psicologia vão fazer
Primeiro, desmontar a rubrica: onde ela recompensa teatro de pré-registro em vez de rigor real, onde pune trabalho exploratório que se declara honestamente como tal, onde uma dimensão não pode de fato ser pontuada a partir de um artefato real.
Depois, rodar rounds de calibração em estudos públicos — pré-registros checados contra os desfechos, alvos de replicação, avaliações aplicadas — pontuando de forma independente e comparando a dispersão, para que as primeiras pontuações publicadas carreguem uma incerteza conhecida.
Conforme a comunidade se abre, esses registros de calibração vão alimentar o sistema de pesos: os primeiros psicólogos cujo histórico de avaliação é ele próprio parte do instrumento.
Para quem é isto
A coorte fundadora está procurando psicólogos cujo julgamento já está em uso diário, onde quer que o pratiquem:
- Pesquisadores quantitativos e clínicos que leem o pré-registro antes do resumo.
- Pesquisadores de UX e cientistas de people analytics cujos melhores estudos nunca chegam a um periódico.
- Replicadores e meta-cientistas que fizeram o trabalho menos recompensado e mais informativo do campo.
- Pesquisadores em início de carreira treinados nas normas de ciência aberta que querem que esse treinamento conte.
Para quem não é isto
A autosseleção importa mais do que qualquer filtro que pudéssemos escrever, então aqui vai a versão honesta:
- Quem busca uma credencial rápida — o estágio fundador produz padrões, não selos.
- Pesquisadores que buscam promover os próprios achados; a avaliação aqui é de artefatos de outras pessoas, sob uma rubrica publicada.
- Quem não se sente confortável em ter a própria acurácia de avaliação rastreada — o registro de calibração é o ponto do design.
- Quem precisa de uma plataforma de pontuação em funcionamento hoje; a mecânica desta página está em desenho, e o tempo verbal é deliberado.
Candidatar-se para avaliar psicologia
Psicologia já vem pré-selecionada na candidatura. Vincule uma página do OSF, um perfil ORCID ou um repositório que possamos ler.