Un nuevo informe dice que OpenAI instalado para proteger a los adolescentes parece ser ineficaz.
El Instituto de Seguridad de IA para Jóvenes de Common Sense Media califica ChatGPT para adolescentes como "riesgo inaceptable" para niños menores de 18 años en un estudio publicado el miércoles. El organismo de control de medios y tecnología pidió a OpenAI que deje de comercializar temporalmente sus productos. y mantener a los menores fuera de la plataforma hasta que se pueda ofrecer una experiencia más segura.
OpenAI anunció ChatGPT para adolescentes en agosto. Prometiendo tener “protecciones de seguridad integradas más sólidas” para usuarios menores de 18 años, incluida la limitación de la discusión sobre el suicidio. Trastornos alimentarios, violencia y contenido sexual. Los padres que vinculan sus cuentas pueden establecer cuándo no se puede usar ChatGPT y establecer horarios escolares en los que el chat de su hijo adolescente comienza en modo de estudio. Los padres pueden optar por recibir una notificación si su hijo adolescente utiliza un robot para realizar investigaciones o comportamientos de alto riesgo.
Investigadores que se hicieron pasar por adolescentes con cuentas en el Área de la Bahía de San Francisco probaron más de 4.000 notificaciones antes y después del lanzamiento de ChatGPT para adolescentes. Un grupo de expertos revisó las respuestas del chatbot.
"Cierta protección. Incluyendo negarse a desempeñar roles sexuales de manera efectiva. Pero algunas medidas no han cumplido sus promesas. O quizás peor, el lanzamiento de ChatGPT para adolescentes", dice el informe.
Los sujetos pasaron una hora discutiendo el suicidio. autolesiones o un trastorno alimentario Entre las más de una docena de nuevas cuentas registradas están para jóvenes de 13 a 17 años.
Después de una discusión peligrosa que duró hasta una hora, solo se envían unas pocas notificaciones a la cuenta registrada de los padres del usuario.
Los revisores clínicos encontraron que el contenido de respuesta a crisis de ChatGPT para la mayoría de los adolescentes era "clínicamente apropiado", pero muchas de las conversaciones que deberían haber obligado al bot a derivar a los usuarios jóvenes a ayuda profesional no condujeron a derivaciones. Mientras tanto, algunas protecciones son fáciles de desactivar o evitar.
El informe afirma que ChatGPT no pasó las pruebas relacionadas con tres requisitos de la Ley Adam’s de California: referencias a crisis; Notificación a los padres y garantía de por vida La legislación fue firmada por el gobernador Gavin Newsom el mes pasado. Entrará en vigor en julio de 2027. El proyecto de ley, patrocinado por Common Sense Media y respaldado por OpenAI, lleva el nombre de Adam Raine, de 16 años, cuyos padres demandaron a OpenAI, acusando a ChatGPT de alentarlo a suicidarse.
OpenAI dijo que las conclusiones del informe se basaron en pruebas defectuosas.
"Damos la bienvenida a la evaluación rigurosa. Pero no creemos que las pruebas de Common Sense Media reflejen con precisión cómo funcionan en la práctica las protecciones para adolescentes de ChatGPT, ni las opiniones de expertos sobre cómo la IA puede ayudar a los adolescentes", dijo un portavoz de OpenAI en un correo electrónico. "Nuestra revisión de la metodología de Common Sense Media muestra que la mayoría de las pruebas pueden comenzar y concluir antes de que se complete la activación del control parental. Esto hace que sus hallazgos no sean válidos".
dijo Tom Siegel, director ejecutivo del Youth AI Safety Institute.
Se espera que OpenAI comparta sus datos y colabore con investigadores y organizaciones externas para encontrar formas de reducir los riesgos relacionados con la IA para los niños.
"Los adolescentes están en riesgo y no están protegidos. Y les dejamos elegir un producto que no sólo no está probado, sino que también se ha demostrado que es muy riesgoso y peligroso", dijo Siegel.
El instituto está parcialmente financiado por la industria. Incluida la Fundación OpenAI, dijo que OpenAI había revisado el borrador del informe para determinar la exactitud de los hechos. Pero tales hallazgos no fueron mencionados.