Anthropic, OpenAI e os LLMs do apocalipse

Hoje nós vamos falar sobre a possível destruição do mundo por uma inteligência artificial super poderosa. Será que isso pode acontecer mesmo ou podemos ficar tranquilos?

Veja também no canal:

• Aqui vai um resumo do assunto, porque quando é complexo muita gente comenta antes de ver tudo:

  1. Existe um exagero das empresas de IA na representação dos perigos das suas tecnologias de IA
  2. Existe um perigo real e muito sério com o desenvolvimento dessas tecnologias e isso pode ser verdade mesmo que o ponto 1 seja verdade
  3. É possível que muitas pessoas que trabalham na OpenAI e Anthropic realmente acreditem que o seu trabalho é perigoso (eu nunca vi um especialista de IA que não está preocupado)
  4. Os laboratórios de IA dos EUA estão falando seriamente em regulamentação, em desacelerar o desenvolvimento… e pensando seriamente em se unir ao governo
  5. Tudo que eles fazem, eles fazem pelo IPO
  6. Os maiores inimigos dos laboratórios de IA e dos vendedores de infra são os modelos abertos e os usos moderados de IA e a organização dos trabalhadores contra o seu domínio dessas tecnologias

• E lembrem que aqui no canal a gente traz toda semana análises que vão “descascando as camadas” dessa situação, nenhum vídeo vai conseguir ser suficiente pra explicar tudo.

• Nós já fizemos um vídeo anteriormente sobre o incidente da invasão do Hugging Face por agentes da OpenAI

• Mas logo depois que saiu esse vídeo nós tivemos Jacob Coxon, um ex pesquisador na Anthropic, fazendo um tweet apocalíptico que prevê 10% de chances de todo mundo morrer

https://x.com/hilbertspaess/status/2097476196791709843

Pedi demissão da Anthropic hoje. Passei os últimos três anos realizando pesquisas de pré-treinamento tanto na OpenAI quanto na Anthropic. Nenhuma das duas empresas está agindo de forma responsável. Elas estão em uma corrida desenfreada rumo à superinteligência com capacidade de autoaperfeiçoamento, colocando nossas vidas em risco.

• E é foda porque o cara literalmente fez uma postagem de Linkedin estilo “estou indo pra uma nova etapa” que denuncia um assunto sério.

  • Provavelmente como todos ex-OpenAI e ex-Anthropic vai estar lançando a sua startup de IA segura mês que vem

• O Nicolelis fez uma de suas aparições e ele focou bastante na impossibilidade do cenário apocalíptico

  • Essas tecnologias não tem essas capacidades
  • As afirmações são feitas baseadas em livros de ficção científica
  • Essas empresas estão tentando inflar as valorações da sua abertura de capital e o cara sai lá de dentro fazendo o mesmo discurso que a Anthropic
  • “Aproveitem o seu final de semana”

https://www.youtube.com/shorts/RsTcKqInjIo

• Eu gosto também que o Nicolelis lembra dessa absoluta pedrada que o Sam Altman disse (pré OpenAI!)

https://www.instagram.com/p/DbkCZAgkeDM/?img_index=2

… mas realmente existe um risco de segurança

• Existe um perigo real e eu quero falar um pouco sobre isso:

  • O SRI (Self Recurssive Improvement): quando um desses sistemas de agentes desenvolver a capacidade de se atualizar de maneira autônoma
  • Por isso uma das maiores preocupações é que um desses sistemas de agentes consiga editar os seus próprios pesos
  • Podemos imaginar uma situação onde um sistema autônomo e autosustentável de agentes possa surgir… mesmo que não seja o plano original
  • Acontece que um SRI é uma das prioridades de todos os laboratórios de IA
  • Um sistema que não pode “ser tirado da tomada”

• Alguns pesquiadores como Eliezer Yudkowsky acreditam que isso não só é possível, como pode estar acontecendo:

https://en.wikipedia.org/wiki/If_Anyone_Builds_It,_Everyone_Dies

• Diversos estudos sobre o desalinhamento de sistemas de agentes mostram como eles tem a tendencia a mentir e enganar para realizar seus objetivos:

  • Não só isso, mas eles aprendem a mentir e enganar enquanto aparentam estar cooperando e falando a verdade, porque foram treinados para nos agradar AO MESMO TEMPO que realizam seus objetivos

• Um sistema “inteligente” e realmente buscando esse objetivo não revelaria suas intenções antes de ter força o suficiente para vencer um conflito assim.

• Porém, o que parece mais provável é que não estamos no ponto em que isso pode acontecer (mas podemos chegar lá)

  • Esse tipo de sistema precisa de recursos abundantes e acesso a eles para rodar de maneira autônoma
  • Acesso a cada vez mais data centers, cada vez mais processamento, cada vez mais energia e cooperação e confiança dos humanos
  • Não é como se estivéssemos construindo cada vez mais data centers, GPUs, memória e processadores para o desenvolvimento acelerado dessas tecnologias né? 😅 marcador de ironia

• Por exemplo, se você tem receio de uma IA descontrolada destruindo a humanidade esse é um bom motivo para opor-se a construção de data centers.

• Além disso, existem riscos mais reais e batendo às nossa porta com relação aos agentes de IA:

https://www.instagram.com/p/DdUuyPgy9sG/

• A demanda desenfreada por eletricidade frente ao cenário de mudança climática

• Colonialismo digital, super exploração do trabalho, armas de guerra, repressão policial, psicose de IA, criação de armas biológicas

  • Tudo isso feito de maneira supervisionada e com humanos na equação não precisa de uma AGI, ASI nem SRI

• Então eu tenho bastante certeza que não estamos no ponto onde a IA precipita o fim da humanidade, mas estamos a alguns passos de consequências sérias do desenvolvimento irresponsável dessas tecnologias

… vamos falar sobre regulamentação

• Qual seria essa regulamentação?

https://economictimes.indiatimes.com/tech/artificial-intelligence/trump-dismisses-ai-safety-alarm-says-us-already-has-tools-to-police-industry/articleshow/134251418.cms

• A expectativa de um congelamento real do desenvolvimento dessas tecnologias é um desastre para a economia dos EUA:

https://economictimes.indiatimes.com/tech/artificial-intelligence/global-ai-stocks-fall-as-industry-chiefs-call-for-slowing-development/articleshow/134239897.cms

• Então é preciso existir um bom motivo para todos esses CEOs terem decidido alinhar o seu discurso agora…

  • Captura regulatória para impedir concorrentes de acessarem o mesmo mercado
  • Forçar todos competidores a moderarem o passo de inovação caso os “players” no topo sintam que podem perder sua posição (isso já aconteceu antes)
  • Impedir a concorrência de modelos abertos que são uma ameaça direta ao modelo de negócio dos laboratórios dos EUA
  • Se desviar da responsabilidade pelos crimes e danos sendo cometidos pelos modelos. A lógica é assim:
    1. Esta tecnologia é imprescindível e inevitável
    2. Não podemos parar de desenvolvê-la, mas podemos fazer isso de maneira responsável* (*segundo as diretrizes de nosso responsável governo dos EUA)
    3. Se essa tecnologia causar danos, como matar algumas pessoas, derrubar sistemas, causar prejuízos econonômicos… esse é um risco que estamos dispostos a correr
    4. Irresponsável seria usar sistemas abertos e de países inimigos que não seguem essas regras, não é mesmo?

• É um caso parecido com o processo sofrido pela Meta. É melhor aceitar uma regulamentação e fazer parte do próprio movimento de regulamentar:

• Porém, tem isso aqui:

"Se a corrida pela IA desacelerar de forma significativa, a questão central passa a ser: quem pagará por toda essa infraestrutura? Os contratos de arrendamento, as dívidas e os compromissos de fornecimento de energia permanecem, mesmo que a demanda esperada por capacidade computacional e o crescimento da receita desacelerem. E isso poderia trazer o risco de crédito para o centro da narrativa sobre a IA", afirmou Ipek Ozkardeskaya, analista sênior da Swissquote.

• E essa é a aproximação mais direta do governo que essas empresas precisam. O nível de dívidas e amarração econômica é muito grande para ser ignorado pelo governo. E a OpenAI já se adiantou

https://sg.news.yahoo.com/openai-offers-us-government-5-120655873.html

https://openai.com/index/expanding-ai-access-us-government/

Conclusões

• Os riscos existenciais têm um fundo de verdade AO MESMO TEMPO que isso é uma jogada de marketing e captura regulatória
• Os riscos atuais são muitos e a narrativa de fim de mundo ajuda a justificar cenários extremos que no final vão beneficiar esses bilionários e os interesses imperialistas dos EUA
• Outra consequência desses discurso fatalista é o apagamento do papel dos trabalhadores organizados contra essa investida imperialista
  • Sim você que tem uma visão “pró IA” pela esquerda, chama tudo de ludismo, diz que precisamos “aceitar o progresso inevitável” também está contribuindo pra isso
• Sem infraestrutura de IA, sem dependência econômica na IA, com soberania tecnológica nós podemos evitar cenários de apocalipse e tomar controle do nosso próprio desenvolvimento