O novo Fable 5 da Anthropic é a primeira IA proibidona
Confira no canal:
Durante anos a indústria de IA, principalmente na figura da Anthropic, repetiu a mesma história: “esse modelos são perigosos demais façam alguma coisa”. Esse vídeo é pra falar sobre o que foi feito pelo governo dos EUA
- Quem acompanha as notícias “de IA” já deve estar acostumado a ouvir sobre o Mythos, o modelo mais capacitado a explorar falhas de segurança e que a Anthropic NÃO LANÇOU ao público
-
Pergunta principal:
- a Anthropic acredita mesmo nas capacidades de invasão desse modelo OU é apenas marketing?
- o modelo tem mesmo essas capacidades de invasão acima dos outros disponíveis?
-
Só que alguns meses depois nós temos o lançamento do modelo Fable que, segundo eles é o Mythos, só que com camadas de segurança para impedir exploração de tópicos perigosos (hacking, biosegurança, destilamento e etc…)
-
Eu não consegui testar o modelo antes dele ser tirado do ar, mas a gente teve aquela enxurrada de conteúdos e cartas de amor que geralmente temos nas redes. Até o nosso zoador de IA mór levou um oneshot da psicose de IA
- Só que não demorou muito pra um engenheiro da Amazon denunciar que havia uma maneira de fazer o jailbreak do modelo. A Anthropic não levou muito a sério MAS eventualmente o governo dos EUA mandou proibir o uso desses modelos para ‘não nacionais dos EUA’
https://vxlabs.in/blog/the-claude-fable-5-jailbreak-claims-explained
- Isso levou ao banimento total do modelo porque inclusive diversos trabalhadores da Anthropic teriam que ser barrados. Por que eles não conseguem fazer nada se não tiver um pouquinho de racismo e xenofobia
https://www.anthropic.com/news/fable-mythos-access
Estamos cumprindo a diretriz legal do governo e removendo o acesso ao Fable 5 e ao Mythos 5 para todos os usuários. No entanto, discordamos que a descoberta de uma possível vulnerabilidade de jailbreak, ainda que limitada, deva ser motivo para o recolhimento de um modelo comercial implementado para centenas de milhões de pessoas. Se esse padrão fosse aplicado a toda a indústria, acreditamos que isso praticamente paralisaria todas as novas implementações de modelos por parte de todos os principais fornecedores de modelos.
-
Alguns comentários preliminares:
- Realmente a Anthropic só usa a ‘segurança de IA’ como um trunfo de marketing e essa declaração mostra isso. Definição muito estreita de segurança também.
- Esse é o melhor marketing que a Anthropic poderia pedir, visto que o dinheiro real está no governo, na guerra e no entreprise e não vender token pra nós reles mortais
- Existe a possibilidade do governo dos EUA ter ido pra cima exatamente pela Anthropic ter desafiado eles antes
- … mas parece mais um grande teatro
-
Voltando um pouco atrás, desde Maio o governo dos EUA ventila a possibilidade de terem que vetar todos modelos avançados que são lançados ao público:
https://apnews.com/article/trump-ai-executive-order-e41af74f7b0865482f07d10fe7a50fe3
-
Feito na canetada como ‘executive order’. A ideia inicial era 90 dias, foi feito um lobby e a proposta está em 30 dias e pelo que entendi vai ser votado ainda.
-
Tem um backlash real aqui que não é apenas tecnobros reclamando que a sua mamadeira cara de tokens saiu do ar
-
Esse cara aqui explicou bem e ele é bem mais crente que eu na capacidade do Mythos por exemplo:
-
Hoje uma combinação de modelos disponíveis com ‘harness’, agentes e profissionais especializados consegue resultados bastante satisfatórios na exploração de vulnerabilidades. Alguns até melhores do que o reportado para o Mythos
-
Então a tentativa de controle com o banimento desses modelos é similar ao banimento de ‘ferramentas poderosas de hacking’ que já existiu há alguns anos atrás
-
Isso não quer dizer que é tudo mentira ou que esses modelos não podem ser usados para esses fins, MAS:
Para concluir
-
Anthropic quer pagar de preocupada com a segurança, de vamos mais devagar, de toda prafrentex e da galera MAS lançou o modelo mesmo assim e isso tem tudo a ver com o IPO da empresa (vamos falar mais no futuro)
- “Imagina se China faz um modelo tão bom igual esse, temos que lançar”
-
O banimento da ferramenta cria uma ciclo de marketing poderosíssimo e reforça todas as narrativas de que IAs são armas perigosas (lembrem do Manifesto da Palantir)
-
O que podemos esperar no futuro é uma aproximação cada vez maior do setor de IA e do governo
- Não é o ‘governo malvadão’ tomando conta da coitadinha da iniciativa privada
- É o balcão de negócios da burguesia indo pra onde existe o maior lucro, a maior estabilidade, a garantia de recursos naturais e etc…
-
Já foi ventilado antes, mas podemos esperar mais banimentos e sanções de tecnologias vindo do governo dos EUA. Como por exemplo IAs da China: