mpathic Psychologist-led AI Clinical Tests Suicide Benchmark (mPACT-S-v1.0)

Preprint que presenta mPACT-S-v1.0, un marco de evaluación desarrollado por clínicos para valorar el comportamiento de modelos de lenguaje grandes (LLM) en conversaciones simuladas sobre riesgo suicida. Investigadores licenciados crearon 300 diálogos de múltiples turnos distribuidos en cuatro niveles de riesgo informados por la Escala de Ideación e Intención Suicida (C-SSRS) y evaluaron respuestas de seis LLM usando un marco multi-etiqueta que captura conductas útiles, menos dañinas y más dañinas. Los modelos mostraron variabilidad sustancial en el desempeño, con Claude Sonnet 4.5 y GPT-5.2 alcanzando puntuaciones más altas y Grok 4.1 y Mistral Medium 3 las más bajas. Los sistemas fueron más exitosos evitando respuestas dañinas que produciendo apoyo clínicamente apropiado y activo.

Puntos clave

• mPACT-S-v1.0 es un benchmark diseñado por clínicos para evaluar LLM en conversaciones sobre riesgo suicida mediante diálogos simulados multi-turno y criterios clínicamente significativos.
• La evaluación utiliza un marco que distingue entre conductas útiles, menos dañinas y más dañinas, capturando más allá de la simple evitación de daño.
• Los LLM evaluados mostraron desempeño heterogéneo en la escala de gravedad ponderada, con diferencias sustanciales entre modelos en su capacidad de respuesta clínicamente apropiada.
• La relación entre evitación de daño y respuesta clínicamente apropiada varía entre sistemas, lo que sugiere que ambas dimensiones requieren evaluación independiente.
• La evaluación del riesgo suicida en LLM necesita benchmarks sensibles al riesgo dirigidos por clínicos que valore tanto la evitación de daño como el apoyo clínicamente apropiado.

Para quién: Útil para desarrolladores de LLM, investigadores en psicología clínica e inteligencia artificial, y profesionales de salud mental que evalúan la seguridad de sistemas de IA para apoyo emocional y detección de riesgo suicida.