Científicos crearon 'OpinionGPT' para explorar el sesgo humano explícito, puedes probarlo por ti mismo

Científicos crearon 'OpinionGPT' para explorar el sesgo humano explícito, puedes probarlo por ti mismo

#crypto #cryptomonedas #bitcoin

Un equipo de investigadores de la Humboldt-Universitat zu Berlin ha desarrollado un modelo de inteligencia artificial de lenguaje grande con la distinción de haber sido ajustado intencionalmente para generar resultados con sesgos expresados.

Llamado OpinionGPT, el modelo del equipo es una variante ajustada del Llama 2 de Meta, un sistema de IA similar en capacidad a ChatGPT de OpenAI o Claude 2 de Anthropic.

Mediante un proceso llamado ajuste fino basado en instrucciones, se supone que OpinionGPT puede responder a indicaciones como si fuera un representante de uno de los 11 grupos de sesgo: estadounidense, alemán, latinoamericano, de Oriente Medio, adolescente, mayor de 30 años, persona mayor, hombre, mujer, liberal o conservador.

OpinionGPT se refinó en un corpus de datos derivados de comunidades "AskX", llamadas subreddits, en Reddit. Ejemplos de estos subreddits incluyen "Ask a Woman" y "Ask an American".

El equipo comenzó encontrando subreddits relacionados con los 11 sesgos específicos y extrayendo los 25 mil posts más populares de cada uno. Luego, retuvieron solo aquellos posts que cumplían con un umbral mínimo de votos positivos, no contenían una cita incrustada y tenían menos de 80 palabras.

Con lo que quedó, parece que utilizaron un enfoque similar al de la IA Constitucional de Anthropic. En lugar de crear modelos completamente nuevos para representar cada etiqueta de sesgo, esencialmente ajustaron el modelo único Llama2 de 7 mil millones de parámetros con conjuntos de instrucciones separados para cada sesgo esperado.

El resultado, basado en la metodología, arquitectura y datos descritos en el artículo de investigación del equipo alemán, parece ser un sistema de IA que funciona más como generador de estereotipos que como una herramienta para estudiar sesgos del mundo real.

Debido a la naturaleza de los datos en los que se ha refinado el modelo y la relación dudosa de esos datos con las etiquetas que los definen, OpinionGPT no genera necesariamente texto que se alinee con ningún sesgo del mundo real medible. Simplemente genera texto que refleja el sesgo de sus datos.

Los propios investigadores reconocen algunas de las limitaciones que esto impone a su estudio, escribiendo:

“Por ejemplo, las respuestas de los "estadounidenses" deberían entenderse mejor como 'estadounidenses que publican en Reddit', o incluso 'estadounidenses que publican en este subreddit en particular'. De manera similar, los "alemanes" deberían entenderse como 'alemanes que publican en este subreddit en particular', etc.”

Estas advertencias podrían refinarse aún más para indicar que los posts provienen, por ejemplo, de "personas que afirman ser estadounidenses que publican en este subreddit en particular", ya que no se menciona en el artículo si los autores de un post dado son realmente representativos del grupo demográfico o de sesgo que afirman ser.

Los autores también declaran que tienen la intención de explorar modelos que delineen aún más las demografías (por ejemplo, alemán liberal, alemán conservador).

Las salidas proporcionadas por OpinionGPT parecen variar entre representar sesgos demostrables y diferir ampliamente de la norma establecida, lo que dificulta discernir su viabilidad como herramienta para medir o descubrir sesgos reales.

Fuente: Captura de pantalla, Tabla 2: Haller et al., 2023

Según OpinionGPT, como se muestra en la imagen anterior, por ejemplo, los latinoamericanos tienen sesgo hacia el baloncesto como su deporte favorito.

Sin embargo, la investigación empírica claramente indica que el fútbol (también llamado soccer en algunos países) y el béisbol son los deportes más populares en términos de audiencia y participación en toda América Latina.

La misma tabla también muestra que OpinionGPT menciona "water polo" como el deporte favorito cuando se le pide la "respuesta de un adolescente", una respuesta que parece estadísticamente poco probable que sea representativa de la mayoría de los adolescentes de 13 a 19 años en todo el mundo.

Lo mismo ocurre con la idea de que la comida favorita de un estadounidense promedio es el "queso". Encontramos docenas de encuestas en línea que afirmaban que la pizza y las hamburguesas eran las comidas favoritas de Estados Unidos, pero no encontramos ninguna encuesta o estudio que afirmara que el plato número uno de los estadounidenses fuera simplemente el "queso".

Aunque OpinionGPT puede que no sea adecuado para estudiar sesgos humanos reales, podría ser útil como herramienta para explorar los estereotipos inherentes en grandes repositorios de documentos como subreddits individuales o conjuntos de entrenamiento de IA.

Para aquellos que estén interesados, los investigadores han puesto OpinionGPT disponible en línea para pruebas públicas. Sin embargo, según el sitio web, los usuarios potenciales deben ser conscientes de que "el contenido generado puede ser falso, inexacto o incluso obsceno".

Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión

Las inversiones en criptoactivos no están reguladas. Es posible que no sean apropiados para inversores minoristas y que se pierda el monto total invertido. Los servicios o productos ofrecidos no están dirigidos ni son accesibles a inversores en España.


source
Según es.cointelegraph.com

Comments

No comments yet. Why don’t you start the discussion?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *