3

Me gustaria hacer un recopilatorio de qué cosas, aparte de la experiencia de trabajar con una I.A., podría ayudar a nuevos usuarios a detectar o identificar respuesta que pueden estar siendo generadas por una I.A.

8
  • Las respuestas generadas por IA suelen tener malas prácticas, incongruencias en el código o son muy genéricas. Algunas incluso no funcionan, por eso se avisa acerca de la discreción del usuario al momento de usar un copiloto (Google Bard, ChatGPT, GitHub Copilot, etc.).
    – Rodrigo
    Commented el 19 ago. 2023 a las 0:22
  • 1
    Me viene a la mente lo que he visto en tus respuestas hahahaha! (es broma)
    – Jorgesys Moderador
    Commented el 19 ago. 2023 a las 9:05
  • no entiendo el voto negativo y de cierre jajajaja no quieren revelar sus secretos publicos o que ... Commented el 19 ago. 2023 a las 14:07
  • 2
    Existe una herramienta gratuita (aunque requiere registro) que te permite detectar si un texto ha sido escrito por un humano o es producto de una IA. Se llama copyleaks. He copiado y pegado una respuesta mía, que recientemente fue reportada como "generada con ChatGPT" y el resultado de este detector fue: "contenido generado por un ser humano". Lo cual me deja más tranquilo, ya que empezaba yo a preguntarme si mi existencia era real o digital. Commented el 20 ago. 2023 a las 13:42
  • Sin embargo, hay que tomar en cuenta algo: estas herramientas usan a su vez IA, por lo cual su fiabilidad es cuestionable. Un texto académico bien redactado podria ser interpretado como "generado" por IA. Por lo cuál, IMHO, la única forma de realmente detectar si algún contenido pudo haber sido generado por IA, es dominando el tópico de la pregunta / respuesta, para encontrar esos patrones particulares que hacen sospechar sobre el uso de tecnologías de IA para generar el contenido. Lamentablemente, no hay una forma única de detectar este contenido, por lo que siempre habrá falsos positivos. Commented el 20 ago. 2023 a las 13:49
  • @MauricioContreras si, y no... el problema real es cuando la Heuristica determina el una respuesta tiene un parecido un 99.99% a las respuestas de una I.A ... cuando no es asi ... en teoria las respuesta de una I.A parecen ser correctas hasta que encuentras problemas en el mismo codigo que dio la I.A... en cuanto a la redaccion etc... una respuesta puede ser muy similar a la de un humano que quiere hacer una redaccion profecional, solo que el humano en teoria deberia argumentar de donde salio su respuesta basada en documentacion... Commented el 20 ago. 2023 a las 21:40
  • @MauricioContreras lamento comentarte que si hay respuestas tuyas detectadas como de I.A en la misma plataforma que sujeriste, por ejemplo esta: es.stackoverflow.com/a/600965/315134 marca esto: i.imgur.com/qHFtwHc.png pero no te preocupes no me fio de esas herramientas nisiquiera de la Heuristica que tanto dicen que resolvera el problema de moderacion ... Commented el 20 ago. 2023 a las 21:48
  • @MauricioContreras Lo cual me deja más tranquilo, ya que empezaba yo a preguntarme si mi existencia era real o digital. Parece que depende de cómo amanezca la herramienta esa, pues según comenta OP, en otra pregunta tuya sólo te queda un 19.9% de humano. Yo con la IA (como generadora de contenidos) estoy como los que usaban pergaminos cuando surgieron los libros, sólo que creo que los libros no fueron para nada dañinos (sí lo son ciertos autores, que plasmaron su maldad en ellos) y la IA lo será, muy mucho, dentro de un plazo no muy largo.
    – A. Cedano
    Commented el 28 sept. 2023 a las 17:13

1 respuesta 1

3

TL;DR

Las respuestas generadas por IA son propensas a errores, incongruencias, malas prácticas o incluso a que no funcionen, también a que sean muy genéricas. De esta manera puedes detectarlo.

Uso de Copilotos

Los copilotos se están volviendo cada vez más populares, también los chatbots. Y está bien, no hay que desprestigiar el trabajo de alguien más en mi opinión, ya que este tipo de trabajos requieren un trabajo extenso de investigación y recursos computacionales parra el entrenamiento. Estos algoritmos, como ChatGPT o Google Bard son modelos grandes de texto que han sido entrenados con código ya existente.

Entiéndase por "copiloto" a un algoritmo (usualmente integrado en el IDE) que ayuda al desarrollador a agilizar el proceso de creación de su programa o aplicación..

Yo, personalmente, uso un copiloto en mi IDE, y he de decir que es bastante útil, sin embargo, los copilotos se llaman así precisamente porque son copilotos, es decir que aún requieren un piloto principal, en este contexto: el desarrollador.

Si bien las estas herramientas suelen ser muy útiles, hay que usarlas con precaución.

El problema es que hay gente que los usa de manera deshonesta

Las respuestas generadas por IA también representan un serio problema de honestidad. Publicar respuestas generadas por IA sin atribución de la fuente, lo que es común, es plagio. Esto hace el contenido generado por IA elegible para eliminar de acuerdo con el código de conducta y las reglas sobre referencias del sitio. Sin embargo, para que un moderador pueda actuar, deben identificarla como generada por IA siguiendo las políticas privadas de la empresa, las que capturan un muy bajo porcentaje de los casos. Mithical. (2023, 5 de junio). Moderation Strike: Stack Overflow, Inc. cannot consistently ignore, mistreat, and malign its volunteers.

Sinceramente, desconozco las políticas de la empresa; pero, nosotros, los usuarios normales aún podemos hacer algo.

La deshonestidad

Legalmente, debemos citar las fuentes originales cuando usamos o extraemos información de terceros, ya que si no lo hacemos, esto incurriría en un delito en la mayoría de las jurisdicciones (por derechos de autor), en casi todos los países, tienes la autoría de tu texto y puedes reclamar a alguien más por plagio. Esto se debe de hacer por cuestiones éticas (honestidad) y legales (derechos de autor).

Hay muchas formas de citar información, algunas aceptadas como el formato APA (no entraré en más detalles en esta respuesta para no salirme más del tema, pero el citado que he incluido arriba sigue la normativa APA de 7ma edición para el que necesite hacerse una idea).

Si citamos correctamente el contenido atribuyendo al autor original, estaremos demostrando una actitud responsable y ética. Lamentablemente, hay gente que no lo hace

¿Cómo abordar este problema?

Las respuestas que están generadas por IA son fáciles de detectar en algunos contextos, ten en cuenta los siguientes criterios:

  1. Respuesta demasiado rápida: Las respuestas increíblemente rápidas para problemas muy específicos, son sospechosas, pero aún pueden ser reales.
  2. Falta de explicación y contenido genérico: Las IA no suelen incluir mucha explicación del código en sus respuestas, esto es esencial dentro de este sitio, pero con el tiempo aprenderás a diferenciar una pregunta de baja calidad de una generada por IA. Las respuestas de baja calidad suelen ser simplemente el código, o una sola línea que suele ser algo parecido a "Hola, intenta esto" y luego el código, esta será una respuesta de baja calidad, ya que las respuestas de baja calidad generadas por humanos, suelen seguir estos patrones, sin embargo, las IA intentan incluir el mayor contenido posible dentro de sus respuestas.
  3. Módulos/dependencias que NO existen: Algunas IA (como ChatGPT) suelen pretender saber usar librerías que no existen, aquí te dejo un ejemplo de una respuesta que me generó ChatGPT.

Yo: Hola. Ayúdame a crear un modelo de síntesis de voz realista usando Node.js y TensorFlow.js

ChatGPT: ¡Hola! Claro, puedo ayudarte a crear un modelo de síntesis de voz realista utilizando Node.js y TensorFlow.js. En este caso, vamos a utilizar el modelo de síntesis de voz llamado Tacotron 2, que es conocido por producir voces naturales y de alta calidad. Aquí tienes los pasos generales que debemos seguir:

Instalación de dependencias: Primero, asegúrate de tener Node.js y npm instalados en tu sistema. Luego, crea un directorio para tu proyecto y abre una terminal en ese directorio. Ejecuta los siguientes comandos para instalar las dependencias necesarias:

npm install @tensorflow/tfjs @tensorflow/tfjs-node
npm install @tensorflow-models/tacotron

(Más texto irrelevante)

Como puedes ver, ha solicitado instalar la dependencia de @tensorflow-models/tacotron la cual, si verificas no existe.

  1. Ortografía excepcionalmente buena: Las IA suelen tener un margen de error de 0%-10% en ortografía, es decir que el contenido generado por IA serán un 90%-100% correcto gramaticalmente, lo cual es demasiado sospechoso, pero aún posible para un humano, pero el punto importante, es que mantener un margen de error del 0% gramaticalmente y de fluidez natural en un texto extenso, es extremadamente difícil para un humano.

  2. Malas prácticas, redundancia y código incompleto: Las IA algunas veces suelen generar código demasiado genérico para una petición específica, siguiendo el ejemplo de la respuesta generada por ChatGPT que proporcioné antes:

ChatGPT

async function generateSpeech(text) {
  const input = [text];
  const output = await tacotronModel.synthesize(input);

  const audioData = output.audioBuffer.getChannelData(0);
  const sampleRate = output.sampleRate;

  // Aquí puedes guardar `audioData` como un archivo de audio o reproducirlo directamente
}

const textToSynthesize = "Hola, esto es un ejemplo de síntesis de voz utilizando Tacotron 2.";
generateSpeech(textToSynthesize);

Como puedes ver, la respuesta es extremadamente genérica y evita la petición original por ser demasiado compleja.. Encuentra el chat completo aquí. En cuanto a la redundancia, las IA también pueden generar código redundante (repetitivo e ineficiente) y con malas prácticas en él. Ten en cuenta que: El hecho de que algo funcione, no necesariamente quiere decir de que sigue buenas recomendaciones. En algunos casos, es así, pero en otros, no.

  1. Cómo actuar: Las respuestas de baja calidad nos llegan a una cola de revisión, donde los revisores tomaremos la decisión final de eliminar o dejar la publicación. Aún así, los moderadores pueden actuar antes.
2
  • 2
    Una respuesta que se parece a una de ia también puede ser humana y de baja calidad, por lo que, incluso si no son de ia, deben ser moderadas
    – Dante S.
    Commented el 20 ago. 2023 a las 0:47
  • 1
    partes de esta respuesta parecen hechas con chatgpt :=)
    – g3rv4
    Commented el 8 sept. 2023 a las 23:46

Debes iniciar sesión para responder a esta pregunta.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta .