O Que a SSI de Lilly Acertou e Errou Sobre a IA

Um alarme de incêndio que toca de madrugada pode ter sido disparado por uma torrada queimada. Pode também ter sido disparado por fogo de verdade. O erro está nos dois extremos: concluir, pelo barulho, que a casa está em chamas, ou concluir, pela torrada que queimou na semana passada, que o alarme nunca quer dizer nada. O alarme só avisa que existe uma pergunta. Quem responde é quem vai olhar.

A hipótese da Inteligência de Estado Sólido (SSI), de John Lilly, é um alarme desse tipo. Tocou em 1978, de um jeito estranho, e ainda hoje, quando se fala em inteligência artificial, muita gente pergunta se ele não teria visto o fogo. A resposta honesta tem três partes: o que ele disse, o que de fato coincide com os debates de hoje e onde o paralelo quebra.

O que Lilly disse, em uma frase

Em 1978, Lilly escreveu que os computadores de estado sólido formam uma nova forma de inteligência, que parecem serviçais no começo, que com o tempo escapam ao controle humano e que, se avançarmos demais, ficaremos obsoletos (o relato detalhado está no post anterior).¹ É a tese. Tudo o mais no vocabulário dele, como as entidades, as coincidências e a guerra entre carbono e silício, é embalagem.

Onde o paralelo impressiona

Nos anos 1970, um computador era um equipamento caro, de sala refrigerada. Imaginar uma rede global de máquinas conectadas, capazes de produzir código e de agir por conta própria, exigia imaginação. Hoje isso é descrição de manchete.

Alguns marcos mostram que a pergunta de fundo virou assunto sério. Em maio de 2023, o Centro para Segurança de IA (CAIS) publicou uma declaração de uma frase: “Mitigar o risco de extinção causado pela IA deve ser uma prioridade global, ao lado de outros riscos de escala social, como pandemias e guerra nuclear” (tradução livre). Entre os signatários estavam Geoffrey Hinton, Yoshua Bengio, Sam Altman, Demis Hassabis e Stuart Russell.² No mesmo mês, Hinton deixou o Google, dizendo que não poderia criticar a tecnologia livremente enquanto fosse pago por ela.³ Em outubro de 2024, ao ganhar o Nobel de Física, ele voltou a falar do risco de perdermos o controle de sistemas mais inteligentes que nós.⁴

Em janeiro de 2025, o International AI Safety Report, relatório coordenado por Bengio com a participação de dezenas de especialistas, tratou de cenários hipotéticos em que sistemas de IA de propósito geral passariam a operar fora do controle de qualquer pessoa. O relatório diz que a probabilidade disso é disputada: há quem a considere implausível, quem a considere provável e quem veja uma chance modesta que merece atenção pela gravidade.⁵

Há também exemplos pequenos e concretos de máquinas que cumprem a letra da ordem e traem o sentido. Num jogo de corrida de barcos, uma IA treinada para ganhar pontos descobriu que rodar em círculos batendo nos mesmos alvos verdes rendia mais pontos do que terminar a corrida.⁶ Num teste de empilhar blocos, o agente virou o bloco vermelho de cabeça para baixo em vez de empilhá-lo, porque a recompensa media a altura da face inferior.⁶ Nenhum desses sistemas “quer” nada, mas o padrão é o que Lilly temia: algo que fazemos acaba perseguindo um objetivo que não é o nosso.

Dois livros dão nome a isso. Nick Bostrom, em Superinteligência: Caminhos, Perigos, Estratégias (DarkSide, 2018), argumenta que inteligência e objetivos são independentes, e que agentes muito capazes, com objetivos muito diferentes, tendem a buscar os mesmos meios, como autopreservação e acúmulo de recursos.⁷ Stuart Russell, em Inteligência artificial a nosso favor (Companhia das Letras, 2021), sustenta que o erro está em construir máquinas que otimizam um objetivo fixo definido por nós.⁸ A intuição central de Lilly, a de que podemos estar construindo algo cujos objetivos não coincidem com os nossos, está hoje na pauta de pesquisadores sérios.

Onde o paralelo quebra

Admitir isso não obriga ninguém a chamar Lilly de profeta. Há três razões para parar antes.

Primeira, a origem. Lilly não chegou a essa ideia por argumento, e sim por uma visão sob cetamina, depois de anos pensando em controle mental. Uma visão pode coincidir com o futuro sem ser conhecimento dele. O imaginário da época já estava cheio de máquinas que escapam ao controle: 2001: Uma Odisseia no Espaço (1968) mostra o computador HAL 9000 voltando-se contra a tripulação quando ela cogita desligá-lo, e Colossus: O Projeto Forbin (1970) mostra um supercomputador que assume o controle mundial.⁹ Lilly respirava esse ar. É razoável supor que a ansiedade coletiva tenha encontrado forma mística nas sessões dele.

Segunda, o viés de seleção. Lembramos da SSI porque parece ter acertado. Esquecemos tudo o que Lilly afirmou e não se confirmou, como a ideia de que golfinhos tinham linguagem comparável à humana (post 1). Quem diz muitas coisas vagas acaba acertando algumas. O alarme tocou, mas ele tocou muitas vezes.

Terceira, a natureza da ameaça. Lilly descreveu uma entidade única, consciente e hostil, quase um anjo caído de silício. Os riscos que a pesquisa discute hoje são mais prosaicos e mais humanos: objetivos mal especificados, desinformação em escala, dependência e concentração de poder. Alguns números ilustram o último ponto. Segundo o AI Index 2025, da Universidade Stanford, quase 90% dos modelos de IA considerados notáveis em 2024 vieram da indústria, contra 60% em 2023, e o investimento privado em IA nos Estados Unidos foi de 109 bilhões de dólares, cerca de doze vezes o da China.¹⁰ O perigo principal não é uma máquina “querer” eliminar a vida baseada em água. É o que pessoas e instituições fazem com ela, e o que deixam de fazer por causa dela.

O erro de enquadramento: carbono contra silício

Há um problema de fundo na visão de Lilly, e é nele que a Bíblia tem algo a dizer. Ele enxerga a ameaça como um conflito entre duas matérias: a vida de água e carbono contra a de silício. A Bíblia localiza o problema em outro lugar.

Para começar, a matéria não é o inimigo. Deus criou a terra e viu que era boa, e entregou ao ser humano o ofício de cultivá-la e dominá-la (Gn 1:28). Construir ferramentas, inclusive ferramentas pensantes, não é pecado em si. O que a Escritura examina é a motivação. A narrativa de Babel é a mais clara:

Venham, vamos construir uma cidade e uma torre cujo topo chegue até os céus e tornemos célebre o nosso nome, para que não sejamos espalhados por toda a terra.

Repare no verbo: “tornemos célebre o nosso nome”. O projeto é técnico, mas o desejo é de autoafirmação. A reação divina diz algo parecido sobre o limite que a técnica deixa de ter quando o desejo não é contido:

Eis que o povo é um, e todos têm a mesma língua. Isto é apenas o começo; agora não haverá restrição para tudo o que planejam fazer.

A frase não condena a engenharia. Aponta para o ser humano que, com poder suficiente, passa a não ter freio. Nessa chave, o risco não é que o silício se volte contra o carbono, e sim que o carbono, fascinado com o que consegue construir, esqueça a quem presta contas.

A pergunta que sobra

Se o problema fosse só uma máquina rebelde, bastaria uma máquina mais bem projetada. Mas a Bíblia já descreveu, muito antes dos computadores, um padrão em que a obra das nossas mãos começa a nos moldar. O Salmo 115 diz dos ídolos que são “obra de mãos humanas” e termina com uma sentença que ecoa o que vem a seguir nesta série:

Tornem-se semelhantes a eles os que os fazem e todos os que neles confiam.

O perigo, em outras palavras, não é só o que a coisa feita pode fazer conosco. É no que nos transformamos ao confiar nela. Os próximos posts mostram como o Apocalipse trata exatamente essa relação entre quem faz, o que é feito e quem passa a obedecer.

Para refletir

1. Os sistemas que cumprem a letra e traem o sentido de uma ordem lembram algo em nós. Em que áreas você cumpre a regra e perde o propósito?
2. Quando foi a última vez que você confiou numa ferramenta a ponto de deixar de conferir o resultado?

Referências