Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Anthropic, OpenAI e os LLMs do apocalipse

Hoje nós vamos falar sobre a possível destruição do mundo por uma inteligência artificial super poderosa. Será que isso pode acontecer mesmo ou podemos ficar tranquilos?

Veja também no canal:

  • Aqui vai um resumo do assunto, porque quando é complexo muita gente comenta antes de ver tudo:

    1. Existe um exagero das empresas de IA na representação dos perigos das suas tecnologias de IA
    2. Existe um perigo real e muito sério com o desenvolvimento dessas tecnologias e isso pode ser verdade mesmo que o ponto 1 seja verdade
    3. É possível que muitas pessoas que trabalham na OpenAI e Anthropic realmente acreditem que o seu trabalho é perigoso (eu nunca vi um especialista de IA que não está preocupado)
    4. Os laboratórios de IA dos EUA estão falando seriamente em regulamentação, em desacelerar o desenvolvimento… e pensando seriamente em se unir ao governo
    5. Tudo que eles fazem, eles fazem pelo IPO
    6. Os maiores inimigos dos laboratórios de IA e dos vendedores de infra são os modelos abertos e os usos moderados de IA e a organização dos trabalhadores contra o seu domínio dessas tecnologias
  • E lembrem que aqui no canal a gente traz toda semana análises que vão “descascando as camadas” dessa situação, nenhum vídeo vai conseguir ser suficiente pra explicar tudo.

  • Nós já fizemos um vídeo anteriormente sobre o incidente da invasão do Hugging Face por agentes da OpenAI

  • Mas logo depois que saiu esse vídeo nós tivemos Jacob Coxon, um ex pesquisador na Anthropic, fazendo um tweet apocalíptico que prevê 10% de chances de todo mundo morrer

Jacob Coxon (@hilbertspaess) on XI resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.X (formerly Twitter)

Pedi demissão da Anthropic hoje. Passei os últimos três anos realizando pesquisas de pré-treinamento tanto na OpenAI quanto na Anthropic. Nenhuma das duas empresas está agindo de forma responsável. Elas estão em uma corrida desenfreada rumo à superinteligência com capacidade de autoaperfeiçoamento, colocando nossas vidas em risco.

  • E é foda porque o cara literalmente fez uma postagem de Linkedin estilo “estou indo pra uma nova etapa” que denuncia um assunto sério.

    • Provavelmente como todos ex-OpenAI e ex-Anthropic vai estar lançando a sua startup de IA segura mês que vem
  • O Nicolelis fez uma de suas aparições e ele focou bastante na impossibilidade do cenário apocalíptico

    • Essas tecnologias não tem essas capacidades
    • As afirmações são feitas baseadas em livros de ficção científica
    • Essas empresas estão tentando inflar as valorações da sua abertura de capital e o cara sai lá de dentro fazendo o mesmo discurso que a Anthropic
    • “Aproveitem o seu final de semana”

https://www.youtube.com/shorts/RsTcKqInjIo

  • Eu gosto também que o Nicolelis lembra dessa absoluta pedrada que o Sam Altman disse (pré OpenAI!)

Dexerto on Instagram: "Sam Altman’s infamous quote, “AI will probably, most likely, sort of lead to the end of the world. But in the meantime, there will be great companies created with serious machine learning”, —has resurfaced as a stark reminder of the tension between existential risk and economic opportunity in artificial intelligence.

Altman first made the remark in 2015 while leading Y Combinator, months before co‑founding OpenAI. At the time, machine learning was still in its infancy, but he highlighted the paradox: AI could drive unprecedented business growth while simultaneously posing grave risks to humanity. Over the past decade, his prediction has partially materialized, with companies like Nvidia, Google, and Microsoft soaring in valuation thanks to AI breakthroughs, while global policymakers and researchers increasingly warn of potential catastrophic outcomes as large language models and neural networks advance toward AGI."2,109 likes, 162 comments - dexerto on August 2, 2026: "Sam Altman’s infamous quote, “AI will probably, most likely, sort of lead to the end of the world. But in the meantime, there will be great companies created with serious machine learning”, —has resurfaced as a stark reminder of the tension between existential risk and economic opportunity in artificial intelligence.

Altman first made the remark in 2015 while leading Y Combinator, months before co‑founding OpenAI. At the time, machine learning was still in its infancy, but he highlighted the paradox: AI could drive unprecedented business growth while simultaneously posing grave risks to humanity. Over the past decade, his prediction has partially materialized, with companies like Nvidia, Google, and Microsoft soaring in valuation thanks to AI breakthroughs, while global policymakers and researchers increasingly warn of potential catastrophic outcomes as large language models and neural networks advance toward AGI.".Instagram

… mas realmente existe um risco de segurança

  • Existe um perigo real e eu quero falar um pouco sobre isso:

    • O SRI (Self Recurssive Improvement): quando um desses sistemas de agentes desenvolver a capacidade de se atualizar de maneira autônoma
    • Por isso uma das maiores preocupações é que um desses sistemas de agentes consiga editar os seus próprios pesos
    • Podemos imaginar uma situação onde um sistema autônomo e autosustentável de agentes possa surgir… mesmo que não seja o plano original
    • Acontece que um SRI é uma das prioridades de todos os laboratórios de IA
    • Um sistema que não pode “ser tirado da tomada”
  • Alguns pesquiadores como Eliezer Yudkowsky acreditam que isso não só é possível, como pode estar acontecendo:

If Anyone Builds It, Everyone Dies - Wikipediaen.wikipedia.org

  • Diversos estudos sobre o desalinhamento de sistemas de agentes mostram como eles tem a tendencia a mentir e enganar para realizar seus objetivos:

    • Não só isso, mas eles aprendem a mentir e enganar enquanto aparentam estar cooperando e falando a verdade, porque foram treinados para nos agradar AO MESMO TEMPO que realizam seus objetivos
  • Um sistema “inteligente” e realmente buscando esse objetivo não revelaria suas intenções antes de ter força o suficiente para vencer um conflito assim.

  • Porém, o que parece mais provável é que não estamos no ponto em que isso pode acontecer (mas podemos chegar lá)

    • Esse tipo de sistema precisa de recursos abundantes e acesso a eles para rodar de maneira autônoma
    • Acesso a cada vez mais data centers, cada vez mais processamento, cada vez mais energia e cooperação e confiança dos humanos
    • Não é como se estivéssemos construindo cada vez mais data centers, GPUs, memória e processadores para o desenvolvimento acelerado dessas tecnologias né? 😅 marcador de ironia
  • Por exemplo, se você tem receio de uma IA descontrolada destruindo a humanidade esse é um bom motivo para opor-se a construção de data centers.

  • Além disso, existem riscos mais reais e batendo às nossa porta com relação aos agentes de IA:

Bebel 🐝 on Instagram: "éeeeee gata, CORTINA DE FUMAÇA pra dizer o minimo"11K likes, 111 comments - bebel_ecologia on September 15, 2026: "éeeeee gata, CORTINA DE FUMAÇA pra dizer o minimo".Instagram

  • A demanda desenfreada por eletricidade frente ao cenário de mudança climática

  • Colonialismo digital, super exploração do trabalho, armas de guerra, repressão policial, psicose de IA, criação de armas biológicas

    • Tudo isso feito de maneira supervisionada e com humanos na equação não precisa de uma AGI, ASI nem SRI
  • Então eu tenho bastante certeza que não estamos no ponto onde a IA precipita o fim da humanidade, mas estamos a alguns passos de consequências sérias do desenvolvimento irresponsável dessas tecnologias

… vamos falar sobre regulamentação

  • Qual seria essa regulamentação?

Trump AI safety: Trump dismisses AI safety alarm, says US already has tools to police industry - The Economic Times"The only control or 'guardrails' that AI needs is a STRONG AND SMART (High IQ!) PRESIDENT, and the U.S.A. has that, in spades!" Trump wrote on Truth ‌Social, adding that China ⁠would benefit ⁠from the doubt being cast on AI development. Trump is scheduled to meet with Chinese President Xi Jinping next week in Washington.The Economic Times

  • A expectativa de um congelamento real do desenvolvimento dessas tecnologias é um desastre para a economia dos EUA:

Global AI stocks fall as industry chiefs call for slowing development - The Economic TimesAnthropic CEO Dario Amodei, in a lengthy essay shared on X on Saturday, called on ​AI companies to slow the rate at which they advance model capabilities amid mounting fears of misuse of artificial intelligence. Both Elon Musk, who runs xAI, and Sam Altman, CEO of OpenAI, said they agree with Amodei.The Economic Times

  • Então é preciso existir um bom motivo para todos esses CEOs terem decidido alinhar o seu discurso agora…

    • Captura regulatória para impedir concorrentes de acessarem o mesmo mercado
    • Forçar todos competidores a moderarem o passo de inovação caso os “players” no topo sintam que podem perder sua posição (isso já aconteceu antes)
    • Impedir a concorrência de modelos abertos que são uma ameaça direta ao modelo de negócio dos laboratórios dos EUA
    • Se desviar da responsabilidade pelos crimes e danos sendo cometidos pelos modelos. A lógica é assim:
      1. Esta tecnologia é imprescindível e inevitável
      2. Não podemos parar de desenvolvê-la, mas podemos fazer isso de maneira responsável* (*segundo as diretrizes de nosso responsável governo dos EUA)
      3. Se essa tecnologia causar danos, como matar algumas pessoas, derrubar sistemas, causar prejuízos econonômicos… esse é um risco que estamos dispostos a correr
      4. Irresponsável seria usar sistemas abertos e de países inimigos que não seguem essas regras, não é mesmo?
  • É um caso parecido com o processo sofrido pela Meta. É melhor aceitar uma regulamentação e fazer parte do próprio movimento de regulamentar:

  • Porém, tem isso aqui:

"Se a corrida pela IA desacelerar de forma significativa, a questão central passa a ser: quem pagará por toda essa infraestrutura? Os contratos de arrendamento, as dívidas e os compromissos de fornecimento de energia permanecem, mesmo que a demanda esperada por capacidade computacional e o crescimento da receita desacelerem. E isso poderia trazer o risco de crédito para o centro da narrativa sobre a IA", afirmou Ipek Ozkardeskaya, analista sênior da Swissquote.

  • E essa é a aproximação mais direta do governo que essas empresas precisam. O nível de dívidas e amarração econômica é muito grande para ser ignorado pelo governo. E a OpenAI já se adiantou

OpenAI offers the US government a 5% ownership stakeSam Altman reportedly wants to hand the US government a stake in OpenAI worth tens of billions, and he wants Silicon Valley's other giants to do the same.View on euronewsYahoo News Singapore

https://openai.com/index/expanding-ai-access-us-government/

Conclusões

  • Os riscos existenciais têm um fundo de verdade AO MESMO TEMPO que isso é uma jogada de marketing e captura regulatória
  • Os riscos atuais são muitos e a narrativa de fim de mundo ajuda a justificar cenários extremos que no final vão beneficiar esses bilionários e os interesses imperialistas dos EUA
  • Outra consequência desses discurso fatalista é o apagamento do papel dos trabalhadores organizados contra essa investida imperialista
    • Sim você que tem uma visão “pró IA” pela esquerda, chama tudo de ludismo, diz que precisamos “aceitar o progresso inevitável” também está contribuindo pra isso
  • Sem infraestrutura de IA, sem dependência econômica na IA, com soberania tecnológica nós podemos evitar cenários de apocalipse e tomar controle do nosso próprio desenvolvimento