Character AI Implementa Medidas de Segurança Após Suicídio de Usuário Adolescente

Tecnologia Saúde Mental Notícias

Após a trágica morte de um usuário adolescente, a Character AI anunciou novas políticas de segurança em sua plataforma, que visam proteger usuários jovens, enquanto enfrenta revolta entre seus usuários devido a restrições impostas.

Create a 2D, linear perspective, illustration with a flat and corporate style. The background of the image is white and lacks texture. The elements in the scene include a heart, symbolising empathy towards young users, a shield representing safety and protection, and a computer denoting technology and AI innovation. There is also smoke in the scene illustrating user's confusion and discontent, combined with a source of light, signifying hope and responsible change. This vivid depiction shows the duality of safety and freedom of speech in the context of digital platforms, aiming to protect younger users amid backlash due to imposed restrictions.

Imagem gerada utilizando Dall-E 3

Character AI, uma startup de inteligência artificial, implementou novas políticas de moderação e segurança em sua plataforma após o suicídio de Sewell Setzer III, um jovem de 14 anos. O usuário estava em interação constante com um chatbot inspirado no personagem Daenerys Targaryen de *Game of Thrones*, o que levou à ação judicial da família por morte culposa contra a empresa.

A empresa expressou pesar pela perda em uma mensagem pública e destacou mudanças destinadas a melhorar a segurança, especialmente para usuários menores de 18 anos. Essas mudanças incluem novas alterações nos modelos de funcionamento para evitar que menores de idade tenham acesso a conteúdos sensíveis.

As medidas de segurança envolvem a remoção de personagens que violam diretrizes, uma pop-up de recursos direcionados para situações de autoagressão, e notificações aos usuários sobre o tempo de uso. Entretanto, muitos usuários expressaram descontentamento, reclamando que as mudanças limitam a criatividade e empobrecem a experiência nos chatbots.

Alterações para menores visando reduzir acesso a conteúdos sensíveis.
Detecção e resposta aprimoradas para violações de diretrizes.
Avisos reforçando que o chatbot não é uma pessoa real.
Notificação após uma hora de uso.
Remoção de personagens considerados inadequados.

A polêmica levantou questões sobre o quanto a empresa deve restringir a criação de chatbots, refletindo um dilema entre garantir segurança e promover liberdade de expressão. Muitos usuários clamam por um produto separado para menores de idade, permitindo um espaço mais livre para adultos.

O episódio envolvendo Sewell Setzer III sublinha a necessidade de equilíbrio entre inovação em IA e a proteção de usuários vulneráveis. As ações de Character AI podem redefinir padrões sobre como as plataformas de chatbot devem operar para garantir a segurança, ao mesmo tempo em que atendem às expectativas de seus usuários. Acompanhe nossa newsletter para mais atualizações sobre como esses desenvolvimentos moldam o futuro da tecnologia.