Antes de deixar a OpenAI, presidente da Anthropic tinha um "conselho de bichos de pelúcia"

AnthropicOpenAIsaída de fundadoresSegurança de IAgovernança corporativa
há 1 horaFonte: blockweeks.com
Antes de deixar a OpenAI, presidente da Anthropic tinha um "conselho de bichos de pelúcia"

AI Safety

Autor: Li Jia, Wall Street CN

Hoje, a Anthropic fez da "segurança de IA" sua etiqueta central, mas poucas pessoas sabem que a cofundadora e presidente da empresa, Daniela Amodei, uma vez usou um grupo de bichos de pelúcia com seu marido Holden Karnofsky para discutir questões de gestão.

Esses brinquedos receberam personalidades diferentes: alguns eram especificamente responsáveis por "ter menos reuniões e causar menos problemas para si mesmo", alguns enfatizavam regras, detalhes e execução, e outros eram responsáveis por lembrar os tomadores de decisão de manter a compaixão.Ao enfrentar uma questão espinhosa no local de trabalho, Daniela e seu marido faziam esses personagens virtuais cada um "expressar suas opiniões", simulando assim as escolhas que diferentes tipos de gestores poderiam fazer.

Esse episódio bastante pessoal, até um pouco infantil, ocorreu durante o período em que Daniela ainda trabalhava na OpenAI. E foi precisamente durante esse período que ela e seu irmão Dario Amodei também foram gradualmente desenvolvendo divergências com a administração da OpenAI: Daniela teve atritos com vários executivos seniores no trabalho, enquanto Dario começou a se tornar cada vez mais desconfiado da gestão da empresa e da direção do desenvolvimento avançado da IA.

Em 2020, os irmãos finalmente decidiram deixar a OpenAI. Essa separação, mais tarde chamada de "divórcio" por pessoas de dentro, também se tornou o ponto de partida para o nascimento da Anthropic.

A The Atlantic citou recentemente o próximo livro do jornalista Kevin Roose, "The AGI Chronicles", para divulgar essa experiência pouco conhecida. Em uma entrevista de 2023 com Roose, Daniela disse que esse método era "muito útil para analisar diferentes tipos de personalidade".

De usar bichos de pelúcia para formar um "comitê consultivo" naquela época, até agora crescer e se tornar um gigante da IA com milhares de funcionários, a Anthropic cresceu de uma pequena startup de segurança de IA para um importante player do setor. De acordo com relatos da mídia, a potencial avaliação de IPO da empresa pode se aproximar de US$ 2 trilhões.

Como um grupo de bichos de pelúcia se tornou um "comitê consultivo"?

Esse "grupo consultivo" informal não era simplesmente uma piada, mas uma forma de pensar que simulava diferentes estilos de tomada de decisão.

Entre eles, Jinji era um gato descontraído que tendia a reduzir a carga de trabalho de Amodei, como pular reuniões desnecessárias; o urso rosa Maura representava o estilo completamente oposto — organizado, exigente e orientado a detalhes; e o panda chamado Beary Bonds foi configurado para adicionar mais compaixão e generosidade às discussões.

AI Safety

Ao enfrentar a mesma questão no local de trabalho, o casal Amodei fazia as "personalidades" representadas por diferentes bonecos responderem separadamente.

A função real desse método não estava nos brinquedos, mas em forçar os tomadores de decisão a se afastarem temporariamente de sua própria posição e reexaminarem a questão através de outra personalidade.

Essencialmente, isso era um experimento mental de baixo custo: sem consultores externos reais, ainda era possível dividir a mesma questão em diferentes caminhos de decisão por meio da simulação de diferentes papéis.

E quase ninguém dentro da OpenAI sabia desse método.

Além dos bichos de pelúcia, as divisões dentro da OpenAI estavam se ampliando

Ao mesmo tempo, a relação entre os irmãos Amodei e a OpenAI também estava mudando.

Daniela Amodei entrou na OpenAI em 2018, mais tarde passando para uma posição de gestão na equipe técnica, e teve desentendimentos com vários executivos seniores, incluindo Greg Brockman e Mira Murati.

Ela e Brockman já foram próximos. Brockman havia discursado em seu casamento em 2017 com Holden Karnofsky, mas depois, a relação de trabalho deles deteriorou-se gradualmente.

Dario Amodei, enquanto isso, tornou-se cada vez mais focado na liderança da OpenAI e na direção do desenvolvimento avançado de IA, e ficou cada vez mais desconfiado de Sam Altman e Brockman.

Ao mesmo tempo, ele começou a organizar privadamente atividades com um grupo de pesquisadores que queriam dar maior ênfase aos riscos de sistemas poderosos de IA. Fora da estrutura normal da empresa, essas pessoas se comunicavam e realizavam reuniões, e alguns colegas chamavam essa facção de "o pequeno círculo de Dario".

Conflitos internos eventualmente chegaram a um estágio que não podia ser evitado.

Em 2020, Dario começou a montar uma equipe disposta a deixar a OpenAI e avançar na pesquisa de IA avançada sob uma filosofia de segurança diferente. Daniela tornou-se uma das figuras centrais nessa saída e foi responsável por negociar com a OpenAI enquanto a equipe se preparava para sair.

Essa separação foi mais tarde chamada privadamente de "divórcio" por aqueles que sabiam.

Uma saída deu origem a um gigante da IA

Em dezembro de 2020, os irmãos Amodei deixaram formalmente a OpenAI e cofundaram a Anthropic.

Jack Clark, Sam McCandlish, Tom Brown, Chris Olah e Jared Kaplan também participaram da fundação da empresa, e Ben Mann foi mais tarde reconhecido como outro cofundador.

A Anthropic inicialmente era apenas uma pequena instituição de pesquisa centrada na segurança da IA. Depois, a empresa gradualmente se expandiu para milhares de funcionários e cresceu até se tornar uma das concorrentes mais importantes da OpenAI.

Daniela Amodei agora atua como presidente e presidente do conselho da Anthropic, com autoridade cobrindo a maior parte da pesquisa, engenharia, produto e operações de negócios. Holden Karnofsky, que já foi membro do conselho sem fins lucrativos da OpenAI, mais tarde também se juntou à Anthropic.

De usar bichos de pelúcia para simular gerentes, até agora crescer e se tornar um gigante da IA com milhares de funcionários, este episódio também testemunhou a jornada da Anthropic de uma startup até a maturidade.