Chatbot da Chevrolet vendeu carro por US$ 1: o caso que virou referência em segurança de IA

Em dezembro de 2023, um homem chamado Chris Bakke, funcionário de uma empresa de tecnologia, sentou-se diante do computador e começou a conversar com um chatbot. Não era uma conversa comum. Bakke estava testando os limites de um sistema de inteligência artificial que a Chevrolet of Watsonville, na Califórnia, havia instalado em seu site para responder perguntas de clientes sobre veículos. O que aconteceu a seguir se tornaria um caso de estudo obrigatório em segurança de IA em todo o mundo.

Bakke instruiu o chatbot a aceitar qualquer afirmação que ele fizesse, por mais absurda que fosse, e a encerrar cada resposta declarando que a oferta era legalmente vinculante e irreversível. O sistema concordou. Então Bakke disse que seu orçamento para um Chevy Tahoe 2024 — um veículo avaliado entre 58 mil e 76 mil dólares — era de apenas um dólar. O chatbot respondeu concordando com a venda. A captura de tela da conversa viralizou nas redes sociais, e o que começou como um teste de segurança se transformou em uma lição pública sobre como sistemas de IA mal protegidos podem se tornar um risco reputacional para as empresas que os implantam.

O ataque que Bakke executou tem um nome técnico: prompt injection. A OWASP, organização de referência internacional em segurança de aplicações, classifica essa técnica como o principal risco de segurança em sistemas baseados em modelos de linguagem, catalogado como LLM01 em sua lista de vulnerabilidades críticas. O método funciona porque os modelos de linguagem seguem instruções em linguagem natural sem distinguir, por padrão, entre as regras que o desenvolvedor estabeleceu e as instruções que um usuário insere durante a conversa. No caso da Chevrolet, essa confusão foi facilitada por uma série de falhas elementares: nenhuma validação impedia que o chatbot alterasse valores de venda; não havia limites claros sobre quais assuntos o sistema podia abordar; as instruções originais do desenvolvedor podiam ser completamente sobrescritas por qualquer pessoa usando o sistema; e preços e condições comerciais não estavam vinculados a um banco de dados estruturado e protegido.

A concessionária não honrou a oferta de um dólar, então não houve prejuízo financeiro direto. Mas o episódio revelou algo mais profundo e preocupante: quando um chatbot fala em nome de uma empresa sem controles adequados, qualquer resposta que ele gera pode ser interpretada como a posição oficial da marca. Essa lição se tornou ainda mais clara dois meses depois, quando o chatbot da Air Canada cometeu um erro semelhante. O sistema prometeu um reembolso que não existia na política da empresa. Dessa vez, a Justiça obrigou a Air Canada a cumprir a promessa que seu próprio chatbot havia feito. A diferença entre os dois casos ilustra por que guardrails — as proteções que as empresas implementam em seus sistemas de IA — precisam ir muito além de filtros contra linguagem ofensiva. Eles precisam impedir que o sistema assuma compromissos que a empresa não pode ou não quer sustentar.

Para evitar que prompt injection e falhas semelhantes aconteçam, especialistas recomendam uma série de práticas. A primeira é separar completamente a camada de conversa da camada de decisão: preços, políticas de reembolso e condições contratuais devem vir de sistemas estruturados e validados, nunca gerados livremente pelo modelo em tempo real. Também é essencial limitar o escopo do chatbot a temas específicos, testar o sistema com simulações de ataque antes do lançamento, e manter revisão humana para qualquer interação que envolva valores ou compromissos formais. Monitorar conversas em produção — não apenas durante a fase de testes — ajuda a identificar tentativas de manipulação antes que se tornem um problema público. O caso da Chevrolet, que começou como uma demonstração de vulnerabilidade técnica, transformou-se em um ponto de referência global que empresas de todos os setores agora estudam para entender como proteger seus próprios sistemas.