Achas que o Joaquin Phoenix se teria apaixonado pela Scarlett Johansson se lhe tivesse perguntado quantos Rstem um morango? Se estiveres no LinkedIn, sabes que a resposta é 3. (Ou, sabes, se souberes ler).
Mas para os chatbots com IA, nem sempre é assim tão simples.
Provavelmente já viu pessoas a gozar com o absurdo das alucinações da IA. E, para sermos justos, um modelo de IA com um conhecimento aparentemente infinito, capacidades de raciocínio semelhantes às dos humanos e uma execução de tarefas extremamente rápida que falha num problema de matemática ao nível do jardim de infância é, bem, um pouco absurdo.
Mas por detrás da diversão e dos jogos há uma realidade mais séria - e potencialmente insidiosa.
Neste artigo, vou falar sobre as alucinações provocadas pela IA - o que são, o que as provoca, porque são importantes e as medidas que pode tomar para as evitar.
O que é a alucinação por IA?
A alucinação da IA ocorre quando um modelo de IA apresenta informações inexactas, enganosas ou totalmente fabricadas. Estas informações falsas podem parecer plausíveis e, em muitos casos, não são detectadas.
Devido à adoção generalizada LLMs, as alucinações são mais frequentemente referidas no contexto dos modelos de texto generativo. Na realidade, representam um risco para qualquer aplicação de IA generativa.
O que causa a alucinação na IA?
A alucinação da IA acontece quando os modelos aprendem padrões falsos.
Os padrões, no contexto da IA, referem-se à sua capacidade de utilizar exemplos individuais de formação para generalizar dados não vistos. Pode ser uma série de palavras para formar a continuação de um texto ou a distribuição de pixéis de imagem que correspondem a um cão.
No caso da alucinação LLM , o modelo considerou uma série de palavras como a sequência mais provável do pedido do utilizador, embora seja falsa.
Esta situação pode dever-se a uma ou mais das seguintes razões:
Dados de treino de baixa qualidade
ChatGPT e outros LLMs semelhantes são treinados com base numa grande quantidade de dados. Estes dados, por muito abundantes que sejam, são imperfeitos devido a:
- Lacunas em determinados temas
- Reflexo dos preconceitos do mundo real
- Desinformação deliberada ou sátira não assinalada
- Enviesado, como no caso de dados desequilibrados ou "desequilibrados".
Considere-se um cenário em que o modelo foi treinado com informações sobre todos os deuses gregos, exceto um.
A sua capacidade de estabelecer ligações estatísticas entre temas semelhantes aos da mitologia grega - amor, ética, traição - pode levá-lo a criar uma mitologia inventada que considere "provável", tendo em conta o seu modelo estatístico.
Isto também é visível na geração de imagens, em que a maioria dos pedidos para um sujeito feminino produz imagens hipersexualizadas. A tendência para um determinado tipo de representação condiciona o tipo de imagens que são geradas.
É provável que a ortografia de strawberry tenha ocorrido nos dados de treino no contexto de uma discussão sobre o duplo R, um ponto de dor notório dos falantes não nativos de inglês. Neste caso, é provável que o número 2 ou a palavra "double" tenham surgido em ligação com a ortografia da palavra.
Por outro lado, é improvável que os dados mencionem o facto de ter 3 Rs.
O resultado é absurdo porque a pergunta é: em que circunstância é que alguém escreveria uma palavra e depois perguntaria como é que ela se escreve?
Arquitetura do modelo e método de geração
Os modelos são construídos a partir de arquitecturas de redes neuronais extremamente complexas. Pequenas variações afectam a forma como os modelos interagem com os seus dados de treino e as instruções de entrada. A capacidade de um modelo para atenuar a alucinação está sujeita a melhorias incrementais através de investigação e testes rigorosos.
Para além disso, a forma como a geração é implementada. Palavra a palavra (na verdade, palavra a palavra), os modelos prevêem a palavra mais provável a seguir. Assim:
"A rápida raposa castanha salta sobre o preguiçoso ___".
Determinará que a palavra seguinte mais provável é "cão". Mas outras palavras são possíveis. E a geração baseada apenas na determinação da palavra seguinte mais provável produz resultados desinteressantes e previsíveis.
Isto significa que têm de ser utilizados métodos de amostragem criativos para manter as respostas excitantes, mas coerentes. Ao fazê-lo, a factualidade por vezes escapa-se.
Sobreajuste
O sobreajuste ocorre quando o modelo é treinado para prever os dados de forma tão próxima que não consegue generalizar para novas entradas.
Portanto, se eu fosse um modelo (como a minha mãe diz que eu deveria ser), então seria um modelo devidamente treinado se reconhecesse os cães como:
Peludo, com orelhas caídas, brincalhão e com um pequeno nariz de botão castanho.
Mas eu estaria a ser demasiado adaptado se apenas os reconhecesse como:
Tem uma pinta castanha debaixo do queixo, responde pelo nome de "Frank" e mastigou completamente o meu bom par de Nikes.
No contexto de um LLMé geralmente a regurgitação de informação vista nos dados de treino, em vez de recuar quando não se sabe a resposta.
Imaginemos que pede a um chatbot a política de devoluções de uma empresa. Se ele não souber, deve informá-lo. No entanto, se estiver demasiado preparado, pode devolver a política de uma empresa semelhante.
Má comunicação
As empresas estão a emitir certificados em engenharia rápida com o conhecimento de que a IA só é tão boa quanto os seus inputs.
Uma proposta bem formulada é articulada com precisão, evita a terminologia de nicho e fornece todo o contexto necessário.
Isto deve-se ao facto de a alucinação ocorrer no limite de muitos resultados de baixa probabilidade.
Digamos que pergunta "qual é o enredo da rapariga tubarão?" Agora, um humano pensa "hã, a rapariga tubarão" .No mundo das estatísticas, as possibilidades são:
- The Adventures of Sharkboy and Lavagirl - um filme infantil bastante popular de 2005 com um nome semelhante.
- Um filme de terror/thriller de 2024 chamado Shark Girl - menos popular, mas mais recente e preciso.
- Um livro infantil com o mesmo nome do início deste ano - que o modelo pode ou não ter indexado.
Nenhuma delas é a escolha óbvia, resultando numa distribuição de probabilidades "mais plana" com menos compromisso com um tópico ou narrativa. Uma pergunta mais eficaz forneceria o contexto, ou seja, articularia o exemplo a que o utilizador se está a referir.
Esta sopa de ambiguidade e relevância tangencial pode produzir uma resposta que é apenas isso: um enredo genérico inventado para uma história relacionada com tubarões.
Reduzir a probabilidade de alucinações é reduzir a incerteza.
Tipos de alucinações de IA
Até agora, falei de alucinações em traços gerais. A realidade é que o tema aborda quase todos os aspectos da IA. No entanto, por uma questão de clareza, é melhor considerar as diferentes categorias.
Erros factuais
É aqui que se enquadra o exemplo dos morangos. Há erros em pormenores de declarações que, de outra forma, seriam factuais. Estes podem incluir o ano em que um determinado acontecimento teve lugar, a capital de um país ou os números de uma estatística.
Pequenos detalhes numa resposta que, de outra forma, seria boa, podem ser particularmente insidiosos, especialmente quando se trata de detalhes de que os humanos não se lembram frequentemente, como números exactos.
Conteúdo fabricado
Em 2023, o Google Bard afirmou falsamente que o telescópio James Webb tinha sido utilizado para tirar as primeiras fotografias de exoplanetas. Não se tratava de uma questão de imprecisões técnicas - era simplesmente falso.
Podem ser afirmações arrojadas como as acima referidas, mas mais frequentemente aparecem como URLs que não vão a lado nenhum, ou bibliotecas e funções de código inventadas.
Vale a pena notar que a linha entre erros factuais e conteúdo fabricado nem sempre é clara.
Digamos que estamos a falar de um investigador. Se citarmos um trabalho dele mas nos enganarmos no ano, trata-se de um erro factual. Se nos enganarmos no nome, o que acontece? O que acontece com o nome e o ano?
Desinformação
Pode enquadrar-se em qualquer uma das duas categorias anteriores, mas refere-se a informações falsas em que a fonte é mais transparente.
A famosa recomendação da IA da Google de comer pizza com cola e comer pedras é um ótimo exemplo disto; o material de origem é obviamente satírico e geralmente inofensivo - comentários do Reddit escritos pelo The Onion, mas a formação do modelo não teve em conta esse facto.
Riscos das alucinações da IA
1. Perda de confiança
Apreciamos a liberdade de transferir as nossas tarefas para a IA, mas não à custa da nossa confiança.
O recente contratempo da Cursor AI - um bot de serviço ao cliente que inventou uma política restritiva - levou muitos utilizadores a cancelar as suas subscrições, questionando a sua fiabilidade.
2. Custo
A IA assumiu um lugar de destaque em muitas empresas e, embora isso seja positivo, um deslize pode sair caro.
A alucinação de James Webb, da Google, provocou uma queda de 100 mil milhões de dólares nas acções da Alphabet em poucas horas. E isso sem contar com o custo de treinar novamente os modelos.
3. Desinformação prejudicial
Rimo-nos do absurdo da pizza de cola, mas o que dizer de doses médicas enganosas?
Serei o primeiro a trocar a leitura das letras miudinhas com avisos por uma resposta rápida da IA. Mas e se estiver errada? É quase certo que não terá em conta todas as condições médicas possíveis.
3. Segurança e malware
Como mencionado, a IA inventa frequentemente os nomes das bibliotecas de código. Quando se tenta instalar uma biblioteca inexistente, não acontece nada.
Agora imagine que um hacker incorpora malware no código e o carrega sob o nome de uma biblioteca comumente alucinada. O utilizador instala a biblioteca e 💨poof💨: é pirateado.
Isto existe e chama-se slopsquatting.
Nome grosseiro à parte, nunca é demais ser crítico em relação ao que se está a instalar, e verificar novamente qualquer nome de biblioteca que soe exótico.
Passos para evitar alucinações de IA
Se não estiver a treinar os modelos, pouco pode fazer no que diz respeito aos dados e à arquitetura.
A boa notícia é que ainda há precauções que pode tomar e que podem fazer toda a diferença no envio de IA sem alucinações.
Escolha um modelo e uma plataforma em que pode confiar
Não está por sua conta. As empresas de IA têm todo o interesse em manter a confiança, o que significa que não há alucinações.
Dependendo do que se está a fazer com a IA, há quase sempre pelo menos algumas opções, e uma boa plataforma de IA torna-as acessíveis. Estas plataformas devem ser transparentes quanto à forma como atenuam as alucinações.
Utilizar RAG (Retrieval-Augmented Generation)
Não faça com que o modelo dependa dos seus próprios conhecimentos. Equipar o seu modelo com RAG torna claro que a informação está disponível e onde a pode encontrar.
É melhor executar a IA numa plataforma com instruções simples sobre como implementar um RAG eficaz.
Adicionar instruções completas
Se já ouviste uma vez, já ouviste mil vezes: lixo dentro, lixo fora.
"Responder à pergunta do utilizador" não garante o sucesso. No entanto, algo como:
# Instruções
Consulte exclusivamente o documento de perguntas frequentes. Se a resposta não aparecer lá:
* Informar educadamente o utilizador de que a informação não está disponível.
* Ofereça-se para encaminhar a conversa para um agente humano.manterá o seu agente sob controlo. A melhor defesa contra um agente desonesto é uma solicitação clara com barreiras firmes.
Verificação humana
No que diz respeito à escalada, ter uma pessoa pronta para inspecionar, avaliar e eliminar as deficiências da IA.
A capacidade de escalar ou verificar retroativamente as conversas permite-lhe descobrir o que funciona e o que está em risco de alucinação. Asupervisão humana dos fluxos de trabalho orientados para a IA é uma necessidade neste domínio.
Utilize hoje a IA sem alucinações
A incerteza quanto à fiabilidade da IA pode estar a impedir as empresas de se transformarem digitalmente.
As capacidades RAG do Botpress, a integração humana no circuito e os sistemas de segurança completos tornam a IA segura e fiável. O seu agente trabalha para si, e não o contrário.
Comece aconstruir hoje. É grátis.
.svg)
.webp)
