Estudo de neurociência computacional. Visualmente as IA não percebem nada de Física
Modelos de Inteligência Artificial chumbaram numa série de testes desenhados para antecipar cenários, como quedas ou colisões, a partir de uma simples e rápida visualização, os quais foram resolvidos por seres humanos sem grandes dificuldades.
“Nós usamos os nossos conhecimentos gerais de Física constantemente. Eu vejo quanta comida cabe no meu prato. Evito detritos que rolam frente ao meu carro. Tento pendurar o meu casaco nas costas de uma cadeira”, escreveu Daniel Bear, biólogo e investigador de Ciência Neurocomputacional/IA. na rede Twitter.How well do today's AI models understand the physical structure and dynamics of visual scenes?
— Daniel Bear (@recursus) June 18, 2021
Introducing #Physion: a dataset/benchmark featuring objects that roll, slide, fall, fold, collide, connect, contain, and more!
preprint: https://t.co/RaHHJB2tQR pic.twitter.com/skbdQcdtxP
The #Physion benchmark asks: how close are we to achieving that goal? What are promising avenues for making progress?
— Daniel Bear (@recursus) June 18, 2021
We designed eight scenarios to showcase different physical phenomena. Each is a set of realistic simulations of how events unfold given an initial configuration. pic.twitter.com/7CBZnY2EOg
Humanos-Máquinas, 10-0What about models? We tested a diverse set of architectures, input types, learning objectives, training datasets, and prediction mechanisms.
— Daniel Bear (@recursus) June 18, 2021
These included ConvNets, Transformers, object-centric models, and Graph Networks optimized and tested under multiple protocols. pic.twitter.com/Xecgr0WzrZ
“Quando testamos os modelos “visuais” no #Physion, percebemos que nenhum consegue fazer predições ao nível humano; variaram da sorte até ~60 por cento de certeza geral, e cometeram erros muito diferentes dos das pessoas!”, revelou Daniel Bear.When we test *vision-based* models on #Physion, we find that none make human-level predictions; they range from chance to ~60% accurate overall, and make very different mistakes from the ones people make! pic.twitter.com/rp9EcXYe3V
— Daniel Bear (@recursus) June 18, 2021