Cinco Obstáculos para a Inteligência Artificial Geral (AGI)
Introdução
Longe do hype e do FOMO, as pessoas e instituições que estão na linha de frente do desenvolvimento das IA's começam a ver os limites dos modelos atuais: falta de dados para treinamento, incapacidade de raciocínio real e aumento de gastos sem retorno real são alguns dos problemas encontrados.
Muitos alegam que será necessária uma mudança de paradigma para o surgimento da AGI.
1. Modelos maiores estão se tornando menos confiáveis
Pesquisa da Anthropic: Confiabilidade e "Inverse Scaling"Assumimos que tamanho era sinônimo de inteligência. No entanto, a pesquisa da Anthropic sobre o "Inverse Scaling" (escalonamento inverso) revela que, embora modelos maiores lidem bem com tarefas simples, eles podem se tornar mais caóticos em tarefas complexas. À medida que a "cadeia de pensamento" (chain of thought) se torna mais longa, a taxa de erro do modelo aumenta. Eles não apenas falham; eles alucinam com mais confiança ("sicofantia"), tornando-os inseguros para fluxos de trabalho autônomos.
2. O "Raciocínio" é falso
Pesquisa da Apple: GSM-Symbolic (arXiv)A Apple desmistificou a ideia de que os LLMs estão aprendendo lógica. Em seu benchmark GSM-Symbolic, eles mostraram que a alteração de uma variável trivial em um problema matemático (como trocar o nome "David" por "Clara") causou uma queda na precisão do modelo de até 65%. Isso prova que os modelos dependem de uma correspondência de padrões frágil, e não de um raciocínio genuíno.
3. Estamos ficando sem dados humanos
Nature: Modelos de IA colapsam quando treinados em dados gerados recursivamenteEsta é a crise da "poluição". À medida que a internet se enche de textos gerados por IA, os novos modelos são forçados a treinar com base no que os modelos antigos produziram. O estudo da Nature prova que isso causa o "Colapso do Modelo": os modelos perdem as nuances e a criatividade (as "caudas" dos dados) e convergem para uma média genérica de baixa qualidade.
4. O retorno sobre o investimento estagnou
PNAS: Escalonar o tamanho do modelo de linguagem gera retornos decrescentesA economia está quebrando. Um estudo massivo publicado na PNAS descobriu que modelos "de fronteira" (frequentemente 10 vezes maiores e mais caros) não foram estatisticamente mais eficazes na persuasão do que modelos muito menores. Estamos pagando custos exponenciais por melhorias que são virtualmente invisíveis na utilidade do mundo real.
5. As "vitórias fáceis" acabaram
Ilya Sutskever: A era do scaling terminou Ilya Sutskever, co-criador do ChatGPT, admitiu publicamente que a "Era do Scaling" — a estratégia de simplesmente construir clusters de GPUs cada vez maiores — acabou. O paradigma de pré-treinamento estagnou, e a indústria agora corre atrás de arquiteturas inteiramente novas (como raciocínio em tempo de inferência) para encontrar o próximo salto de inteligência.
Nota: este artigo é uma tradução e adaptação de um post da AI Weekly - Essentials