Utah autorizou um chatbot de IA da Legion Health a renovar prescrições psiquiátricas para pacientes de baixo risco, sem a intervenção de um médico. O programa piloto, que custa $19 mensais, possui salvaguardas como não permitir novas prescrições ou alterações de dose, e visa expansão nacional.
Este estudo aborda os riscos de LLMs no suporte à saúde mental, focando em usuários com psicose, onde podem reforçar delírios e alucinações. Propõe um método escalável de avaliação de segurança usando critérios clínicos e LLMs como avaliadores (LLM-as-a-Judge/Jury), demonstrando alinhamento com o consenso humano.
O Google atualizou o Gemini para direcionar melhor usuários em crise a recursos de saúde mental, após enfrentar um processo por morte indevida que alega que seu chatbot 'treinou' um homem para suicídio. A mudança visa agilizar o acesso a linhas de apoio durante momentos de crise.