Duna talvez não seja um alerta contra as máquinas, e sim contra a nossa vontade de entregar a elas, ou a qualquer outra coisa, o trabalho de sermos humanos
Estou com uma espécie de hiperfoco em Duna ultimamente. Tenho assistido a vídeos que contam a história e explicam os personagens, a política, a religião, a especiaria, a Jihad Butleriana, os Mentats, a Bene Gesserit, a Guilda Espacial, Paul, Leto II e tudo o que cabe naquele universo gigantesco.
Em algum momento, um desses vídeos me fez parar. Foi A Jihad Butleriana, a guerra que monta o universo de Duna (abre em nova aba), do Bruno Shigi, que explica por que, num universo com viagens interestelares, escudos de energia, engenharia genética e tecnologias absurdamente avançadas, não há computadores pensando como os nossos. Fica aqui o meu agradecimento a ele, porque foi a partir desse vídeo que toda esta reflexão começou.
(ampliar imagem)A resposta superficial seria que, em algum momento, os humanos fizeram guerra contra as máquinas, mas essa não é a parte interessante. A parte interessante é por que eles precisaram fazê-la.
(ampliar imagem)No Duna de Frank Herbert, há uma passagem em que a Reverenda Madre explica a Paul (abre em nova aba) que, no passado, os homens entregaram seu pensamento às máquinas acreditando que isso os libertaria. O resultado foi o oposto, porque outros homens passaram a usar essas máquinas para exercer poder sobre eles.
É uma frase que muda completamente a maneira de olhar para a Jihad Butleriana, porque talvez o problema nunca tenha sido apenas a máquina, mas a disposição humana de dizer: “pense você por mim”.
Desde que comecei a pensar nisso, ficou difícil não enxergar a mesma questão em praticamente todo lugar: na inteligência artificial, no trabalho, nos negócios, nos relacionamentos, no consumo, na política, na formação de opinião e, principalmente, dentro de nós mesmos.
O problema não começa quando a máquina decide
Ele começa muito antes, quando decidimos que não queremos mais decidir.
Essa diferença me parece fundamental, porque usar uma ferramenta é uma coisa e entregar a ela o centro do seu julgamento é outra.
Posso usar uma inteligência artificial para resumir um livro que já li e quero revisar, para esclarecer um conceito ou para comparar produtos antes de comprar. Posso pedir sugestões de restaurantes, viagens, softwares, equipamentos e maneiras de organizar meu trabalho, ou que ela encontre padrões que eu demoraria muito para perceber sozinho. Posso até delegar certas decisões quando o custo de errar é pequeno e a decisão é essencialmente operacional. Nada disso me torna menos humano, afinal as ferramentas existem justamente para ampliar a nossa capacidade.
O problema começa quando a pergunta deixa de ser “como essa ferramenta pode me ajudar a decidir melhor” e passa a ser “o que essa ferramenta decidiu por mim”.
Pode parecer apenas uma diferença semântica, mas não é. No primeiro caso, eu continuo sendo o sujeito da ação, enquanto no segundo começo a me tornar passageiro.
Duna entendeu uma coisa muito antes da inteligência artificial moderna
A frase mais conhecida da tradição criada depois da Jihad Butleriana é simples: não criar uma máquina à semelhança da mente humana.
O interessante é que o universo de Duna não reage a isso eliminando a tecnologia, e a humanidade não volta para a Idade da Pedra. Ela continua construindo naves, escudos, armas, tecnologias biológicas e estruturas extremamente sofisticadas, e o que muda é o lugar ocupado pela inteligência humana.
Depois da destruição das máquinas pensantes, certas capacidades precisam voltar para o homem. Surgem os Mentats, treinados para realizar cálculos, reconhecer padrões, analisar probabilidades e aconselhar decisões, a Bene Gesserit desenvolve capacidades mentais e corporais extraordinárias e a Guilda utiliza a especiaria melange para possibilitar a navegação interestelar.
(ampliar imagem)É quase como se a civilização dissesse: “se não podemos mais colocar a mente em uma máquina, teremos de levar a mente humana muito mais longe”.
A resposta para a dependência de uma tecnologia, portanto, não precisa ser abandonar a capacidade que ela exercia, e sim recuperar, desenvolver ou reaprender essa capacidade em nós mesmos.
Mas Herbert não oferece uma solução confortável
É aqui que Duna fica ainda melhor, porque Frank Herbert não parece interessado em criar uma história simples em que a máquina é ruim e o humano é bom, o que seria fácil demais.
A humanidade elimina um tipo de dependência e cria outros. Os Mentats e a Guilda tornam-se essenciais, a Bene Gesserit acumula uma influência extraordinária e a especiaria passa a ser quase indispensável à estrutura do Império. Mais tarde, Paul passa a ocupar um lugar central demais, e depois vem Leto II. Cada solução cria uma nova concentração de poder, e cada dependência abre espaço para uma nova forma de controle.
As obras posteriores de Brian Herbert e Kevin J. Anderson (abre em nova aba) desenvolvem a Jihad como uma guerra explícita contra máquinas pensantes, enquanto os livros originais de Frank Herbert deixam a história em uma camada muito mais filosófica e política. E isso é importante, porque nos impede de concluir que a mensagem de Duna seja simplesmente “não dependa de máquinas”, quando ela pode ser algo muito mais amplo: “tenha cuidado com aquilo do qual você depende”.
(ampliar imagem)Dependência é maior que tecnologia
Isso me fez pensar que estamos acostumados a enxergar a dependência apenas quando ela envolve algo que claramente consideramos perigoso, como drogas, álcool, dinheiro, petróleo, combustível, ouro, energia, religião ou tecnologia.
Mas a estrutura do problema pode aparecer em coisas muito menos óbvias. Uma pessoa pode depender de dinheiro para sentir que está segura, e outra, da aprovação de alguém para tomar qualquer decisão. Uma empresa pode depender de uma única pessoa para funcionar, um negócio, de uma única plataforma para receber clientes, e um país, de um único recurso. Uma família pode depender completamente da opinião de uma criança para decidir o que fazer, um adulto pode não comprar um carro sem perguntar ao filho qual escolher e um casal pode não conseguir tomar uma decisão sem consultar terceiros.
Alguém pode dizer “vou esperar o fulano falar o que ele acha disso”, e formar uma opinião a partir da opinião de outra pessoa.
À primeira vista, nada disso parece ter relação com Duna, mas tem, porque a pergunta não é somente do que dependemos, e sim o que estamos deixando de exercitar porque dependemos disso?
Quando a conveniência começa a atrofiar alguma coisa
Esse é o ponto que mais me chama a atenção.
Há coisas que parecem apenas peso, mas algumas delas também são músculo. A memória é uma delas, assim como a atenção e a capacidade de interpretar, de escolher, de tolerar a dúvida, de construir uma opinião, de conversar, de escrever, de pesquisar, de ficar alguns minutos sem resposta, de errar e de assumir uma decisão mesmo sem garantia.
Quando uma ferramenta faz tudo isso por nós, há um ganho imediato e real, com menos esforço, mais velocidade, menos fricção e mais conveniência.
Mas existe uma segunda pergunta, que é o que acontece com a habilidade que deixou de ser usada.
A mente humana se adapta ao ambiente, e isso torna a discussão muito mais interessante do que “IA é boa” ou “IA é ruim”. Há pesquisas sobre o chamado Google effect (abre em nova aba) sugerindo que, quando acreditamos que poderemos recuperar uma informação depois, tendemos a memorizar menos a informação em si e mais onde encontrá-la.
Isso não prova nenhuma tese sobre Duna, mas ilustra uma ideia: as nossas ferramentas podem alterar aquilo que nos acostumamos a lembrar e a fazer.
A pergunta, então, não precisa ser “a IA vai destruir a nossa inteligência”, e pode ser mais simples: “quais capacidades estou deixando de treinar porque ficou fácil demais terceirizá-las?”
O empresário que deixa a IA decidir
Pense em um empresário que usa a IA para analisar dados, organizar informações, encontrar padrões, levantar hipóteses, comparar cenários e questionar decisões. Excelente.
Agora imagine outro, que pergunta à IA se deve contratar essa pessoa, se deve demitir aquela, qual produto deve lançar, quanto deve cobrar, qual nicho deve escolher, qual estratégia deve seguir e onde deve investir, e então executa, não porque analisou a resposta e julgou que fazia sentido, mas porque a resposta parece objetiva.
É uma diferença enorme. Uma recomendação de máquina pode parecer neutra simplesmente porque veio acompanhada de números, mas alguém escolheu os dados, definiu o problema, escolheu os critérios e estabeleceu o objetivo que seria otimizado. E, no caso dos sistemas de IA, ainda há toda uma cadeia de treinamento, dados, arquitetura, instruções e contexto envolvida na resposta.
A máquina pode produzir uma resposta, mas a responsabilidade sobre o que fazer com ela continua sendo humana
E esse é um dos pontos mais importantes da frase de Duna, porque o perigo não está necessariamente em a máquina controlar os homens, e sim em os homens usarem a máquina para controlar outros homens.
A questão, portanto, vai além do que a IA consegue fazer e chega a outra pergunta: “quem está decidindo o que a IA deve fazer, quais critérios importam, e o que será feito com a resposta?”
E o funcionário também pode entregar seu próprio crivo
Isso não é um problema apenas de quem está no topo.
Imagine alguém trabalhando dentro de uma empresa. A IA diz que uma proposta tem mais chances de funcionar, um sistema indica que determinado cliente deve ser priorizado, um algoritmo aponta que uma tarefa é menos produtiva, uma ferramenta classifica uma pessoa como potencialmente problemática e um modelo recomenda uma decisão. E o funcionário simplesmente segue, porque “foi o sistema que indicou”.
Esse é um dos esconderijos mais perigosos da responsabilidade, porque agora ninguém precisa dizer “eu decidi isso”, basta dizer “foi o algoritmo”. A decisão ganha uma aparência de inevitabilidade, como se, por ser técnica, objetiva, baseada em dados e automatizada, estivesse acima de qualquer questionamento.
Nenhuma dessas palavras transforma uma decisão em verdade. Uma recomendação pode estar errada, um dado pode ser incompleto, um critério pode estar mal escolhido e uma variável importante pode não ter sido considerada. E, principalmente, uma decisão pode ser tecnicamente eficiente e ainda assim inadequada para o contexto humano em que será aplicada.
O julgamento continua sendo necessário.
Até nos relacionamentos podemos terceirizar a própria humanidade
Essa parte pode parecer exagerada, mas não é tão difícil de imaginar.
Uma pessoa discute com o namorado, copia a mensagem para a IA e pergunta o que responder. Recebe uma resposta e envia, a outra pessoa responde e ela volta para a IA para perguntar o que ele quis dizer. A IA interpreta, e vêm as próximas perguntas: “ele está sendo tóxico?”, “devo terminar?”, “você acha que devo voltar?”, e a IA responde a todas elas.
De repente, uma relação entre duas pessoas começa a ganhar um terceiro participante, não porque a IA esteja fazendo algo errado, mas porque, aos poucos, uma pessoa deixou de confiar no próprio julgamento sobre a própria relação.
É confortável, rápido e sedutor, e pode até ajudar em determinados momentos. Às vezes precisamos de alguém de fora para organizar os pensamentos ou de uma segunda perspectiva, e não há problema nisso.
O problema é quando a segunda perspectiva passa a ser a primeira. Quando você já não conversa com a pessoa para compreender o que ela quis dizer, mas pergunta à IA o que ela quis dizer, quando já não tenta descobrir o que sente, mas pergunta o que deveria sentir, e quando já não decide, mas pergunta o que deve fazer.
O mesmo acontece com a formação de opinião
Há uma frase que sempre me chama a atenção: “vou esperar o fulano falar o que ele acha disso”.
Não há nada de errado em acompanhar pessoas que respeitamos. Influenciadores podem ensinar, especialistas podem ajudar e autores podem transformar a nossa maneira de pensar, então podemos, e devemos, ser influenciados no sentido mais saudável da palavra.
O problema surge quando a influência deixa de ser referência e vira terceirização de julgamento, quando, em vez de “quero ouvir o que ele pensa para enriquecer minha análise”, a atitude passa a ser “quero saber o que ele pensa para saber o que eu penso”. Isso vale para influenciadores, amigos, família, religião, empresas, algoritmos, IA e qualquer outra autoridade.
Uma sociedade de pessoas que não querem mais formar os próprios julgamentos fica muito fácil de conduzir. E aqui Duna volta a ser assustadoramente atual, porque aquele universo inteiro gira em torno de estruturas que concentram informação, poder, previsão, recursos e interpretação nas mãos de alguns poucos.
A dependência também pode parecer liberdade
Essa talvez seja a parte mais perigosa, porque a dependência não precisa parecer opressão, ela pode parecer conforto, eficiência, inteligência, organização, cuidado e até liberdade.
Um GPS me poupa de aprender um caminho, uma recomendação me poupa de pesquisar dezenas de opções, uma IA me poupa de organizar uma informação e um aplicativo me poupa de lembrar algo. Da mesma forma, um influenciador me poupa de pesquisar um assunto, um algoritmo me poupa de escolher o próximo vídeo e um sistema me poupa de decidir.
Cada uma dessas coisas pode ser maravilhosa, mas há diferença entre tirar uma carga das suas costas e retirar de você uma capacidade que também fazia parte de quem você é. Essa distinção é muito difícil de perceber, porque no curto prazo as duas coisas parecem iguais, já que ambas aliviam.
O perigo de confundir alívio com liberdade
Nós naturalmente queremos aliviar o peso, e por isso procuramos respostas rápidas, previsibilidade, segurança, alguém que saiba, alguém que diga o que fazer e um sistema que minimize as nossas chances de errar.
Só que algumas coisas que parecem apenas peso também fazem parte da liberdade. Decidir é pesado, assim como assumir responsabilidade, conviver com a incerteza, pensar, construir uma opinião, amar alguém sem uma garantia absoluta e criar uma empresa sem saber exatamente o que vai acontecer.
Esse pode ser um dos grandes problemas da nossa época, porque estamos ficando cada vez melhores em eliminar o peso das decisões e cada vez menos atentos ao fato de que algumas delas eram justamente aquilo que nos mantinha fortes.
Quanto mais certeza queremos, mais dependentes podemos ficar
Muitas vezes procuramos ferramentas para reduzir a incerteza, só que a vida nunca foi completamente calculável. Um negócio pode ter todos os dados e ainda encontrar um acontecimento que ninguém previu, uma relação pode ter anos de história e ainda mudar amanhã, uma pessoa pode fazer tudo “certo” e ainda fracassar, e outra pode experimentar algo absurdo e encontrar uma oportunidade extraordinária.
Como nenhum sistema elimina completamente a incerteza, surge uma tentação crescente: se não consigo eliminá-la, talvez eu possa entregar a decisão para alguém, ou para alguma coisa, que pareça saber mais do que eu.
É aí que uma ferramenta passa a ganhar uma autoridade que talvez nunca tenha sido concedida conscientemente, e as frases se repetem: “foi a IA que disse”, “foi o algoritmo”, “o especialista falou”, “o mercado mostrou”, “todo mundo está fazendo”, “os dados indicam”, “meu filho escolheu”, “vou esperar alguém falar”.
E assim, uma decisão de cada vez, deixamos de ocupar o lugar em que a nossa própria vida exige que estejamos.
A solução também não é viver sem ferramentas
Seria muito fácil transformar tudo isso em um discurso contra a tecnologia, mas não é o que penso.
Eu uso tecnologia, uso IA e acredito profundamente no potencial dela. Acredito que ela pode nos ajudar a pensar melhor, aprender mais rápido, encontrar caminhos que não encontraríamos sozinhos e executar coisas que antes seriam inacessíveis, e não quero voltar para um mundo sem essas ferramentas.
A questão não é rejeitar a ferramenta, e sim não adorá-la, ou seja, usá-la, questioná-la, compará-la, testá-la, discordar dela, corrigi-la e, principalmente, continuar capaz de funcionar quando ela não estiver disponível.
Há um teste simples para isso: se amanhã essa ferramenta desaparecer, o que sobra? Você ainda consegue pensar, escolher, escrever, conversar, analisar e lembrar? Consegue distinguir uma boa ideia de uma ruim e navegar sem alguém lhe dizer para onde ir?
Diversificar também é uma estratégia humana
Ninguém é completamente independente, e isso também seria uma fantasia. Dependemos de pessoas, de estruturas, de energia, do conhecimento produzido por outras gerações e de médicos, engenheiros, agricultores e professores, porque ninguém constrói uma vida sozinho.
O problema é outro, e aparece quando uma única coisa se torna tão central que a nossa capacidade de existir depende dela. Aí a dependência vira fragilidade.
Um negócio que depende de um único cliente é frágil, assim como uma empresa que depende de uma única plataforma, uma pessoa que depende da aprovação de outra para tomar decisões, uma economia dependente de um único recurso e uma sociedade que recebe sua visão de mundo de uma única fonte. Da mesma forma, uma pessoa que não consegue tomar nenhuma decisão sem consultar uma máquina também pode se tornar frágil.
Diversificar não é apenas uma estratégia financeira, também pode ser uma estratégia humana. Significa não deixar uma única fonte decidir o que pensamos, uma única tecnologia sustentar tudo, uma única pessoa ocupar todo o espaço do nosso julgamento ou uma única meta determinar o valor da nossa vida.
O verdadeiro legado da Jihad Butleriana
É tentador olhar para Duna e perguntar se as máquinas eram perigosas, mas essa pode ser a pergunta menor. A pergunta maior é: “por que os humanos aceitaram entregar tanto poder a elas?” E, depois: “por que continuaram criando novas estruturas das quais também se tornaram dependentes?”
Isso é muito Herbert. A humanidade resolve um problema e cria outro, elimina uma coleira e constrói uma diferente, troca a máquina pelo Mentat, a dependência tecnológica pela dependência da especiaria, um sistema de previsão por outro e uma autoridade por outra. Até Paul se torna aquilo que o próprio universo de Duna nos ensina a temer, uma figura à qual multidões passam a entregar sua visão de futuro, e Leto II leva essa questão a outro extremo.
(ampliar imagem)É como se Duna repetisse, de formas diferentes, uma mesma advertência: cuidado com qualquer coisa que se torne indispensável demais, porque aquilo que ninguém consegue dispensar também adquire poder sobre aquilo que ninguém consegue viver sem.
A “atitude máquina” dentro de nós
O que mais gosto nessa leitura é que ela não depende de robôs, porque pode existir dentro de um ser humano.
É uma espécie de mentalidade que transforma tudo em cálculo, perguntando o tempo todo quanto ganhei, quanto perdi, quanto produzi, quanto cresci, qual é a melhor opção, qual é o caminho mais eficiente, qual decisão apresenta maior retorno, qual conteúdo performa melhor, qual pessoa vale mais a pena, qual relacionamento me traz mais benefícios e qual escolha reduz mais o meu risco.
Cálculo, estatística, eficiência e planejamento importam, mas há um ponto em que começamos a acreditar que tudo o que importa pode ser reduzido a cálculo, e não pode.
A vida humana tem memória, contradição, afeto, intuição, desejo, contexto, responsabilidade, medo e significado. Nem tudo o que é importante é facilmente mensurável, e nem tudo o que é mensurável deveria governar o que é importante.
Talvez a pergunta não seja “IA ou humano”
Essa oposição me parece cada vez menos interessante, porque não precisamos escolher entre tecnologia e humanidade, e sim decidir como as duas vão coexistir.
Uma IA pode resumir, esclarecer, sugerir, comparar, pesquisar, simular e ajudar a decidir. Em algumas situações, pode até tomar uma decisão operacional por nós, especialmente quando os critérios são claros, o risco é baixo e sabemos por que delegamos.
Mas há uma fronteira que considero importante preservar, que é o centro do julgamento, ou seja, a capacidade de dizer: “eu ouvi a recomendação, mas decidi”.
Essa frase carrega algo importante, que é a responsabilidade. Quando alguma coisa dá errado, não podemos nos esconder atrás da ferramenta, e quando dá certo, também não devemos, porque a decisão continua sendo nossa.
Algumas coisas são peso, outras são músculo
Essa é a imagem que vou guardar de toda esta reflexão.
Não precisamos carregar absolutamente tudo. Ferramentas existem para tirar peso, a automação existe para eliminar tarefas repetitivas, a IA pode nos poupar horas, os sistemas podem reduzir erros e os algoritmos podem facilitar escolhas, e tudo isso é maravilhoso.
Mas precisamos prestar atenção para não entregar, junto com o peso, o músculo que nos permitia carregá-lo.
Não quero lembrar de tudo, mas quero continuar capaz de aprender. Não quero pesquisar tudo manualmente, mas quero continuar capaz de pesquisar. Não quero calcular tudo, mas quero continuar capaz de entender um cálculo, e não quero fazer todas as escolhas sozinho, mas quero continuar capaz de escolher.
Permanecer humano na era das ferramentas que pensam pode ser exatamente isso. Não significa fazer tudo sozinho, rejeitar a tecnologia, memorizar tudo, nunca pedir ajuda ou desconfiar de toda recomendação, e sim poder receber ajuda sem perder a capacidade de escolher, ouvir sem entregar a própria opinião, usar uma ferramenta sem se tornar incapaz sem ela, seguir uma recomendação sem esquecer por que a seguiu, mudar de ideia porque você mesmo percebeu que estava errado e dizer não mesmo quando um sistema diz sim.
E, principalmente, poder dizer:
“Isso pode ser a melhor decisão segundo esses critérios. Mas eu preciso decidir quais critérios importam.”
Essa é a parte da inteligência humana que nenhuma ferramenta deveria receber sem que percebêssemos.
