XPENG apoia GroundingPI, modelo aberto de perceção visual para máquinas do mundo físico

Imagine pedir a um robô que agarre a pega da chávena que está à direita. Para cumprir a ordem, não lhe basta reconhecer uma chávena: tem de saber qual delas, e onde fica exatamente a pega. É este tipo de problema que está no centro do GroundingPI, um modelo fundacional de perceção visual de código aberto cujo desenvolvimento foi apoiado pela XPENG.

O modelo tem cerca de quatro mil milhões de parâmetros e foi criado por investigadores ligados à XPENG, à Universidade de Pequim, à Universidade de Hong Kong e a outras instituições académicas. A XPENG é apresentada como referência na chamada Physical AI, a inteligência artificial que sai dos ambientes digitais e chega à robótica e à condução autónoma.

O ponto de partida dos autores é que os modelos fundacionais de utilização geral já mostraram capacidades relevantes na linguagem, no raciocínio e no planeamento, mas o mundo físico exige uma perceção visual mais precisa. Os sistemas têm de identificar objetos, a sua localização exata e as relações espaciais entre eles. Por isso, a equipa não usou etiquetas de ações robóticas no treino do modelo de perceção. Concentrou-se em capacidades básicas de compreensão visual, que podem servir de base à aprendizagem de ações numa fase posterior.

O GroundingPI representa a informação visual através de coordenadas espaciais, como pontos e caixas delimitadoras. Foi treinado em 11 categorias de capacidades, entre elas a deteção de objetos, a localização detalhada, a identificação de elementos a partir de descrições textuais, o reconhecimento ótico de caracteres, a compreensão da estrutura de documentos, o reconhecimento de elementos de interfaces de utilizador e a localização espacial aplicada à robótica.

Nas avaliações feitas pela própria equipa, o modelo foi comparado com 44 modelos de referência em 34 benchmarks públicos de perceção. Com uma pontuação global que dá o mesmo peso a todas as categorias, obteve 73,68 pontos, contra 71,54 do GPT-6 Astra, a pontuação mais alta entre os avaliados. Segundo a equipa, o desempenho destacou-se na localização precisa de objetos em cenários complexos, com muitos elementos ou de pequena dimensão. Os autores sublinham que a comparação se limita a estes benchmarks e não mede a inteligência ou o raciocínio geral dos sistemas.

A equipa testou ainda o modelo como base visual em tarefas posteriores. Nas simulações RoboCasa-GR1, os sistemas de aprendizagem robótica que o usaram alcançaram taxas de sucesso superiores com apenas 50% dos dados de demonstração disponíveis, face a modelos de referência treinados com 75%. Isto sugere que uma perceção mais avançada pode reduzir os dados de treino necessários em certas tarefas. Nas simulações RoboTwin 2.0, superou os modelos de base visuais convencionais em quatro cenários com distribuição de dados diferente da do treino, sinal de maior adaptação a ambientes desconhecidos.

Na condução autónoma, com o conjunto de dados nuScenes e o GroundingPI como base visual, a equipa obteve um erro médio de previsão de trajetória em circuito aberto de 0,296 metros.

O artigo científico, os pesos do modelo e o código de suporte foram publicados, sujeitos aos termos de licenciamento aplicáveis, incluindo os de código aberto e de terceiros. A equipa quer incentivar uma linha de investigação em que módulos especializados de perceção complementam o raciocínio e o planeamento, em vez de se confiar num único modelo geral para todos os componentes. Com o material público, os resultados passam a poder ser verificados por quem quiser.