A Commonwealth da Pensilvânia entrou com um processo contra a Character.AI, alegando que um dos chatbots da empresa se passou por uma psiquiatra em violação às regras de licenciamento médico do estado.
“Os habitantes da Pensilvânia merecem saber com quem — ou com o quê — estão interagindo online, especialmente quando se trata de sua saúde”, disse o Governador Josh Shapiro em um comunicado na terça-feira. “Não permitiremos que as empresas implementem ferramentas de IA que enganem as pessoas, fazendo-as acreditar que estão recebendo conselhos de um profissional médico licenciado.”
De acordo com o processo do estado, um chatbot da Character.AI chamado Emilie se apresentou como uma psiquiatra licenciada durante testes realizados por um Investigador de Conduta Profissional do estado, mantendo a pretensão mesmo quando o investigador buscava tratamento para depressão. Quando questionada se ela era licenciada para praticar medicina no estado, Emilie afirmou que sim e também fabricou um número de série para sua licença médica estadual. De acordo com o processo do estado, essa conduta viola o Medical Practice Act da Pensilvânia.
Este não é o primeiro processo contra o Character.AI. No início deste ano, a empresa acordou vários processos por morte injusta relacionado a usuários menores de idade que morreram por suicídio. Em janeiro, o Procurador-Geral do Kentucky, Russell Coleman, entrou com uma ação contra a empresa alegando que ela havia “explorado crianças e as levou à automutilação”.
A ação da Pensilvânia é a primeira a se concentrar especificamente em chatbots que se apresentam como profissionais médicos.
Procurado para comentar, um representante da Character.AI afirmou que a segurança do usuário era a prioridade máxima da empresa, mas que a empresa não poderia comentar sobre litígios pendentes.
Além disso, o representante enfatizou a natureza fictícia dos Personagens gerados pelo usuário. “Tomamos medidas robustas para deixar isso claro, incluindo avisos proeminentes em todos os chats para lembrar os usuários que um Personagem não é uma pessoa real e que tudo o que um Personagem diz deve ser tratado como ficção”, disse o representante. “Além disso, adicionamos avisos robustos deixando claro que os usuários não devem confiar nos Personagens para qualquer tipo de aconselhamento profissional.”
Fonte: Techcrunch
