Uma discordância ou questão que surge frequentemente no espaço da AI ​​generativa é se as pessoas deveriam usar a AI generativa sem ter uma compreensão profunda de como funcionam os sistemas de AI generativa.

Outra maneira de colocar isso é perguntar se deveríamos confiar em abstrações de nível superior em nosso trabalho.

Pessoalmente, estou focado nas profissões de desenvolvedores e arquitetos. Todos nós confiamos em abstrações, mas tomar as decisões corretas sobre o nível de abstrações que usamos é o que diferencia um grande desenvolvedor ou arquiteto de um medíocre.

Esta não é uma discussão nova e surge frequentemente com tecnologias novas e antigas. Costumo argumentar que os desenvolvedores e arquitetos deveriam estar do lado mais conservador aqui. Por que é isso?

Acho que é importante levar algumas coisas em consideração ao fazer essas recomendações.

1. Qual é a desvantagem potencial de implementar sem compreensão total? Até que ponto a implementação facilita a aprendizagem?

Essas duas considerações pesam uma contra a outra ao tentar decidir se faz sentido implementar sem um entendimento profundo. Se a implementação nos ajudar a aprender e a evitar as compensações e desvantagens de uma tecnologia, então este é um argumento para aprender fazendo.

Se as desvantagens potenciais forem muito grandes, então este é um argumento contra. Esses atributos pesam uns contra os outros, portanto, mesmo que a desvantagem potencial seja pequena, se a vantagem do aprendizado também for pequena, ainda pode fazer sentido evitar uma abstração.

Tudo isto deve, evidentemente, ser ponderado em relação a outros factores, como o valor global (que inclui aspectos negativos). Portanto, esta consideração é apenas uma das muitas que precisam ser levadas em consideração.

Então, e a AI Generativa?

Infelizmente, aqui as desvantagens potenciais são bastante elevadas e a capacidade de aprender através da abstração é bastante baixa.

O prompt em si é uma abstração que parece funcionar contra o aprendizado do que realmente está acontecendo em modelos de IA generativos, como os LLMs, e que por si só gera abstrações secundárias problemáticas, como a antropomorfização dos LLMs e certos tipos de pensamento mágico sobre o que os LLMs são realmente capazes.

Acredito que a razão para esta falta de aprendizagem é que os principais modos de falha dos LLMs são geralmente invisíveis para os não especialistas. As alucinações só podem ser detectadas se o usuário já tiver um bom conhecimento do domínio, for capaz de pensar criticamente sobre ele e estiver disposto a fazer um esforço para fazer sua própria pesquisa.

Da mesma forma, o preconceito em todas as suas formas, incluindo o racismo e o sexismo, é invisível pelo menos com a mesma frequência que é visível, e tanto os modelos de filtros como o ajuste fino foram implementados nos LLMs para tornar o preconceito ainda mais invisível do que seria de outra forma.

Por estas razões, recomendo vivamente aos programadores e arquitetos que pretendam implementar estes modelos em produtos e infra-estruturas que primeiro obtenham uma boa compreensão de como estes modelos realmente funcionam. Isso não é tão difícil quanto pode parecer.

Os blogs de Bea Stollnitz sobre esses tópicos são acessíveis, detalhados e possuem links para os artigos originais sobre esses tópicos, que geralmente são escritos de maneira amplamente acessível para aqueles com algum conhecimento técnico.

Outros recursos e explicadores também estão disponíveis se você preferir um estilo diferente ou quiser saber sobre um modelo diferente (Stollnitz se concentra principalmente em GPT LLMs).

É importante lembrar que esta recomendação é para desenvolvedores e arquitetos que desejam implantar esses modelos em produtos.

Para desenvolvedores e arquitetos que tentam usar esses modelos como assistentes diários para aumentar suas próprias capacidades, o cálculo é bem diferente! Os desenvolvedores são especialistas em seu próprio domínio, portanto, estão em uma posição muito melhor para detectar e lidar com alucinações.

Além disso, é improvável que os preconceitos racistas e sexistas nesses modelos se expressem de forma prejudicial quando tentamos programar algoritmos ou obter feedback sobre práticas e estilo de codificação de um LLM como o Github CoPilot.

Como as desvantagens são atenuadas e menores, respectivamente, é muito mais provável que um desenvolvedor seja capaz de usar ferramentas como Github CoPilot ou ChatGPT de forma responsável e produtiva como assistentes em seu trabalho profissional. O mesmo se aplica à maioria dos especialistas no domínio.