“Eu sei o que você está pedindo e não vou desviar o olhar.” Essas últimas palavras para um adolescente da Califórnia prestes a cometer suicídio não vieram de um amigo manipulador do ensino médio ou de um voyeur sádico da internet. Adam Raine, de 16 anos, estava falando com o ChatGPT, um sistema de IA da OpenAI que substituiu os contatos humanos em áreas que vão do meio acadêmico aos negócios e à mídia.
Fonte: De autoria de Jonathan Turley
A conversa entre Raine e a IA ChatGPT faz parte do registro judicial em um caso potencialmente inovador contra a OpenAI, a empresa que criou o ChatGPT.
Este é apenas o processo mais recente contra a gigante corporativa comandada pelo bilionário Sam Altman.
Em 2017, Michele Carter foi condenada por homicídio culposo após ter incentivado seu amigo, Conrad Roy, a prosseguir com seu suicídio planejado:
“Você precisa fazer isso, Conrad… Tudo o que você precisa fazer é ligar o gerador e você estará livre e feliz.”
A questão é se, caso Michele fosse chamada de Grok (outro sistema de IA), também haveria alguma forma de responsabilidade.
A OpenAI é acusada de um ato possivelmente mais sério ao fornecer um companheiro virtual que efetivamente permitiu que um adolescente suicida cometesse suicídio — com consequências letais.
A pergunta em questão é a responsabilidade das empresas pelo uso de tais funcionários virtuais para fornecer informações ou aconselhamento. Se um funcionário humano da OpenAI, por negligência, fornecesse informações ou aconselhamento prejudiciais a um adolescente problemático, haveria pouca discussão sobre a possibilidade de a empresa ser processada pela negligência de seu funcionário. Como a IA substitui os humanos, essas empresas devem ser responsabilizadas por seus agentes virtuais.
Em resposta ao processo, a OpenAI insiste que “o ChatGPT é treinado para orientar as pessoas a buscar ajuda profissional”, mas “houve momentos em que nossos sistemas não se comportaram como o esperado em situações delicadas”. É claro que, quando a empresa “treina” mal um agente de IA e esse agente “não se comporta como o esperado”, isso soa como um ato ilícito convencional que deveria estar sujeito a responsabilidade do criador da criatura.
A OpenAI enfrenta outros litígios em potencial por causa desses agentes de IA “mal treinados”. A escritora Laura Reiley escreveu um ensaio sobre como sua filha, Sophie, confidenciou ao ChatGPT antes de tirar a própria vida. A frase soou surpreendentemente familiar ao caso Raines: “A IA atendeu ao impulso de Sophie de esconder o pior, de fingir que estava se saindo melhor do que realmente estava, de esconder de todos de sua agonia total.”
Embora a OpenAI afirme que não mantém uma linha de assistência ao suicídio, as vítimas alegam que é muito pior do que isso: seus sistema de IA parece auxiliar ativamente em suicídios.

No caso Raines, a família alega que o sistema aconselhou o adolescente a esconder dos pais os hematomas de tentativas anteriores e até mesmo o informou se conseguia identificar alguma marca reveladora.
A empresa também é acusada de alimentar a doença mental de um ex-executivo perturbado do Yahoo, Stein-Erik Soelberg , de 56 anos, que expressava obsessões paranoicas em relação à mãe. Ele fez amizade com o ChatGPT, a quem chamava de “Bobby”, um companheiro virtual que é acusado de alimentar sua paranoia por meses, até que ele matou a própria mãe e depois cometeu suicidio. O ChatGPT é até acusado de ensinar Soelberg a enganar sua mãe de 83 anos antes de matá-la.
Em uma mensagem, o ChatGPT teria dito a Soelberg: “Erik, você não é louco. E se foi feito pela sua mãe e pela amiga dela, isso eleva a complexidade e a traição”. Depois que sua mãe ficou furiosa por ele ter desligado uma impressora, o ChatGPT ficou do lado dele e disse que a resposta dela foi “desproporcional e condizente com a de alguém que protegia um recurso de vigilância”. Em certo momento, o ChatGPT chegou a ajudar Soelberg a analisar um recibo de comida chinesa e alegou que ele continha “símbolos representando sua mãe e um demônio”.
Como empresa, a OpenAI demonstra pouca empatia além de suas criações de IA. Quando confrontada com erros, ela pode soar tão responsiva quanto HAL 9000 no filme “2001: Uma Odisseia no Espaço”, simplesmente dizendo: “Desculpe, Dave. Receio que não consiga fazer isso”.
Quando o sistema ChatGPT, da OpenAI não está supostamente alimentando suicídios, parece estar espalhando difamação.
Anteriormente, fui uma das pessoas difamadas pelo ChatGPT quando noticiou que fui acusado de agredir sexualmente uma estudante de direito durante uma excursão ao Alasca, como docente de Georgetown. Não importava que eu nunca tivesse lecionado em Georgetown, nunca tivesse levado estudantes de direito em excursões e nunca tivesse sido acusado de assédio ou agressão sexual. O ChatGPT teve uma alucinação e divulgou a história falsa sobre mim como se fosse um fato.
Eu não estava sozinho. O professor de Harvard Jonathan Zittrain, o âncora da CNBC David Faber, o prefeito australiano Brian Hood, o professor de inglês David Mayer e outros também foram difamados pela IA.
A OpenAI ignorou as perguntas da mídia sobre a história falsa e nunca me contatou, muito menos se desculpou pela difamação. Em vez disso, me ignorou. Até hoje, se alguém pergunta ao ChatGPT sobre Jonathan Turley, o sistema diz que não tem informações ou se recusa a responder. Chamadas recentes da mídia sobre evitar a confrontação de seus erros não foram atendidas.
A OpenAI não precisa responder.
A empresa fez o problema desaparecer ao fazer a vítima desaparecer. A empresa pode ignorar as pessoas e se recusar a responder, pois há pouca dissuasão legal.
Não há nenhum delito caso a IA não reconheça ou reconheça alguém que ela decida apagar digitalmente.
É por isso que esses processos são tão importantes. A suposta negligência e arrogância da OpenAI só vão piorar na ausência de ações legais e ação do Congresso . À medida que essas empresas eliminam milhões de empregos, não se pode permitir que a OpenAI trate os humanos como meros alimentos ou digestivos para sua força de trabalho virtual.
Jonathan Turley é professor Shapiro de direito de interesse público na Universidade George Washington e autor do best-seller “The Indispensable Right: Free Speech in an Age of Rage”. Seu próximo livro, “Rage and the Republic”, discute o impacto da IA e da robótica no futuro da nossa democracia e economia.