IA física

Pesquisa em IA incorporada, avaliada depois que ela sai do simulador

Como a habilidade de pesquisa se manifesta quando uma política aprendida precisa rodar em hardware que quebra, e o padrão que a primeira turma exigirá dela. Tudo abaixo é um rascunho público, de propósito.

O que conta como evidência de habilidade em pesquisa em IA física

O problema definidor da área é que seus números de manchete são baratos. Uma taxa de sucesso em simulação não custa nada para inflar — muda-se a distribuição de reinício, ajusta-se a recompensa, relata-se a melhor semente — e a mesma política em hardware real pode não alcançar um décimo disso. Evidência de habilidade de pesquisa é, portanto, evidência sobre transferência: o que a política fez no sistema físico, em quantas tentativas, sob condições que o autor não escolheu de antemão.

Contagens de tentativas e taxonomias de falha carregam mais sinal do que notas de benchmark. Vinte episódios em robô real com cada falha classificada dizem mais a um avaliador do que uma entrada de ranking sem nenhuma, porque é na classificação que o julgamento mora: dizer se um erro foi de percepção, de controle, de calibração ou uma falha mecânica é uma afirmação que o autor teve de conquistar.

A reprodutibilidade nesta disciplina é excepcionalmente difícil e excepcionalmente informativa. O hardware deriva, a calibração envelhece, e uma política que funciona em um braço pode não funcionar no braço gêmeo. Pesquisadores que relatam resultados entre plataformas ou entre sessões — inclusive os que pioraram — estão entregando ao avaliador exatamente o artefato que os incentivos da área desencorajam.

A habilidade mais difícil de enxergar é a contabilidade honesta de segurança e reinícios. Intervenções por hora, reinícios excluídos dos números, os episódios interrompidos porque algo estava prestes a quebrar: são esses detalhes que separam uma demonstração de um resultado, e eles quase nunca estão no resumo.

A rubrica de avaliação de IA física, primeiro rascunho

Esta rubrica lê o trabalho incorporado como um replicador cético assiste a um vídeo de demonstração: pelo que aconteceu fora de quadro, e por quanto da afirmação sobrevive ao sair do laboratório em que foi feita.

Contabilidade de sim-to-real: Resultados simulados e físicos são relatados separadamente e de forma comparável, com a lacuna de transferência declarada como achado e não suavizada. A randomização e os ajustes aplicados para fechar a lacuna são divulgados.
Integridade do protocolo de tentativas: Contagens de tentativas, sementes, procedimentos de reinício, intervenções humanas e episódios excluídos são relatados. As condições são fixadas antes da avaliação, e não selecionadas depois, e a regra de seleção é declarada de todo modo.
Caracterização de falhas: As falhas são classificadas por subsistema e mecanismo, e não apenas contadas, e é dada a evidência que separa falhas de percepção de falhas de controle, de calibração ou de hardware.
Generalização entre corpos: As afirmações são limitadas às plataformas e condições efetivamente testadas. A transferência entre robôs, sessões ou ambientes é demonstrada em vez de afirmada, e a degradação é relatada onde ocorreu.

Os primeiros avaliadores de IA física atacarão este rascunho primeiro — inclusive contra as próprias demonstrações e entradas de benchmark.

O que os primeiros avaliadores de IA física farão

Desmontar a rubrica: onde ela penaliza trabalho que legitimamente não pode chegar ao hardware, onde dá crédito demais a frotas caras de robôs, onde uma dimensão não pode ser pontuada só a partir de um artigo e um vídeo.

Rodar rodadas de calibração sobre trabalho público — entradas em benchmarks abertos, políticas e bases de dados liberadas, tentativas de reprodução, demonstrações de congresso — pontuando de forma independente e comparando dispersões, para que as primeiras notas publicadas carreguem incerteza conhecida em vez da confiança habitual da área.

Estabelecer o que uma afirmação crível sobre robô real precisa relatar, e publicar isso como um padrão que a comunidade possa cobrar das entradas — inclusive das próprias.

Para quem é isto

A primeira turma procura pesquisadores cujos sistemas precisam sobreviver ao contato com o mundo, onde quer que trabalhem:

Pesquisadores de aprendizado em robótica que relatam resultados em hardware real e querem o próprio relato julgado.
Engenheiros de controle e percepção cujo trabalho de implantação nunca vira artigo.
Mantenedores de reprodução e de benchmarks que já tentaram rodar de novo as afirmações alheias.
Praticantes de IA incorporada na indústria cuja evidência é dado de frota, e não uma posição em ranking.

Para quem não é

A autoseleção importa mais que qualquer filtro que escrevêssemos, então a versão honesta:

Quem quer uma credencial pelo valor dela em si — a fase inicial produz padrões, não distintivos.
Quem tem como evidência um vídeo de demonstração sem protocolo por trás; esta rubrica foi construída para perguntar o que o vídeo omite.
Quem se incomoda com o registro de sua precisão de avaliação — o registro de calibração é o ponto do desenho.
Quem precisa de uma plataforma de pontuação viva hoje; a mecânica desta página está em desenho, e o tempo verbal é deliberado.

Candidate-se para avaliar IA física

IA física já vem pré-selecionada no formulário. Link para trabalho que possamos ler — uma avaliação em robô real, uma política ou base de dados liberada, um relatório de reprodução, um perfil ORCID ou repositório.