A AI Generativa é uma consequência direta dos avanços trazidos pelos modelos de Transformers.
Corporações globalmente têm embarcado em testes com esta inovação tecnológica, antecipando sua capacidade de revolucionar setores tão diversos quanto comunicação, finanças, direito, serviços profissionais e até mesmo serviços públicos, incluindo o setor educacional. Esses Modelos de Linguagem de Grande Escala (LLMs) são sustentados por um marco científico denominado “modelo Transformers“, uma contribuição significativa feita por pesquisadores do Google em 2017.
“Reconhecemos a natureza pioneira do nosso trabalho com modelos transformers desde o início, mas anos após sua concepção, ainda estamos animados com seu potencial expandido em diversos domínios, que vai de cuidados de saúde a robótica e segurança, amplificando a criatividade humana e muito além”, afirma Slav Petrov, pesquisador sênior do Google envolvido no desenvolvimento de LLMs.
Os LLMs são celebrados por seu potencial em elevar a produtividade através da escrita e análise textual. No entanto, essa mesma eficiência é o que os torna uma ameaça potencial ao emprego humano. Segundo análises da Goldman Sachs, a automação poderia afetar o equivalente a 300 milhões de postos de trabalho em tempo integral nas principais economias, um vetor de desemprego em massa.
Com a rápida adoção desta tecnologia em nossas rotinas diárias, entender como os LLMs geram texto é crucial para reconhecer por que esses modelos são tão versáteis no processamento cognitivo — e o que mais eles poderiam facilitar na criação. Segue exemplo interativo;
Mas não é só isso que torna os LLMs tão inteligentes. O que desbloqueou suas habilidades de analisar e escrever com a mesma fluência que fazem hoje foi uma ferramenta chamada Tranformers, que acelerou e aumentou radicalmente a maneira como os computadores entendiam a linguagem.
Os Transformers processam uma sequência inteira de uma vez – seja uma frase, um parágrafo ou um artigo inteiro – analisando todas as suas partes e não apenas palavras individuais.
Isso permite que o software capture melhor o contexto e os padrões e traduza – ou gere – texto com mais precisão. Esse processamento simultâneo também torna o treinamento dos LLMs muito mais rápido, melhorando sua eficiência e capacidade de escala.
A pesquisa que descreve o modelo do Tranformers foi publicada pela primeira vez por um grupo de oito pesquisadores de IA do Google em junho de 2017 . Seu artigo de pesquisa de 11 páginas marcou o início da era da AI generativa.
Um dos maiores e mais avançados LLMs do mundo é o GPT-4, o mais recente modelo de inteligência artificial da OpenAI que, segundo a empresa, exibe “desempenho de nível humano” em vários benchmarks acadêmicos e profissionais, como o exame da ordem dos EUA, testes de nivelamento avançados como testes de SAT.
O GPT-4 pode gerar e ingerir grandes volumes de texto: os usuários podem inserir até 25.000 palavras em inglês, o que significa que ele pode lidar com documentação financeira detalhada, obras literárias ou manuais técnicos.
O produto remodelou a indústria tecnológica, com as maiores empresas de tecnologia do mundo – incluindo Google, Meta e Microsoft, que apoiaram a OpenAI – a competir para dominar o espaço, ao lado de pequenas start-ups.
Os LLMs lançados incluem o modelo PaLM do Google, que alimenta seu chatbot Bard, o modelo Claude da Anthropic, o LLaMA da Meta e o Command da Cohere, entre outros.
Embora esses modelos já estejam sendo adotados por uma série de empresas, algumas das empresas por trás deles estão enfrentando batalhas legais em torno do uso de textos, imagens e áudio protegidos por direitos autorais extraídos da web.
A razão para isso é que os atuais LLMs são treinados na maior parte da Internet em língua inglesa – um volume de informações que os torna muito mais poderosos do que as gerações anteriores.
A partir deste enorme corpus de palavras e imagens, os modelos aprendem como reconhecer padrões e, eventualmente, prever a próxima melhor palavra.
Mas as coisas nem sempre saem conforme o planejado. Embora o texto possa parecer plausível e coerente, nem sempre é factualmente correto.
Devido a esta natureza preditiva inerente, os LLMs também podem fabricar informações num processo que os investigadores chamam de “alucinação”. Eles podem gerar números, nomes, datas, citações inventados – até mesmo links da web ou artigos inteiros.
Em um incidente de grande repercussão em Nova York , um advogado usou o ChatGPT para criar um resumo para um caso. Quando a defesa interrogou o relatório, descobriu que estava repleto de opiniões judiciais e citações legais inventadas.
Apesar destas limitações, o Tranformers resultou numa série de aplicações de IA de ponta. Além de alimentar chatbots como Bard e ChatGPT, ele aciona o preenchimento automático em nossos teclados móveis e o reconhecimento de fala em nossos alto-falantes inteligentes.
Seu verdadeiro poder, entretanto, está além da linguagem. Seus inventores descobriram que os modelos de Transformers podiam reconhecer e prever quaisquer motivos ou padrões repetidos. Poderia até prever notas na música e DNA em proteínas para ajudar a projetar moléculas de drogas.
Durante décadas, os investigadores construíram modelos especializados para resumir, traduzir, pesquisar e recuperar. O transformador unificou todas essas ações em uma única estrutura capaz de realizar uma enorme variedade de tarefas.
“Essa é a parte mágica da história.”
