Durante la semana pasada, despegó un nuevo movimiento de trabajo de fans, con el objetivo de erradicar a los autores que utilizan IA generativa. Pero los métodos de detección llevados a cabo son cuestionables y cualquier escritor de ficción podría verse atrapado en el fuego cruzado.
Ha habido una aversión generalizada al uso de la nube, ChatGPT y otras herramientas de inteligencia artificial durante mucho tiempo. algo En comunidades creativas, incluido el mundo del fan fiction. Lectores y escritores han brindado consejos para detectar obras supuestamente creadas por IA, citando desde guiones hasta… Concepto amplio De prosa morada. Pero el 29 de junio, una cuenta X anónima llamó @heatedrivalryai Prometiendo una solución aparentemente más confiable. He publicado un aspecto, que parece una extensión, del popular repositorio de archivos de fans Archive of Our Own (AO3) que pretende identificar elementos de programación dejados por el bot Claude de Anthropic.
«Cuando la respuesta generada por Claude se pega directamente en el AO3 de Claude, el texto se envuelve con el código inyectado por Claude ‘font-clude-response-body'», dijo la cuenta @heatedrivalryai. «Su presencia indica el uso final de Claude». Cuando un usuario visita una página (como un fan art) usando este ícono, la máscara vuelve todo el fondo rojo.
numeroso Publicaciones de prueba Se publica en AO3, lo que permite a los usuarios comprobar si está funcionando o no. La pantalla se puso roja inmediatamente cuando probé la piel con estos ejemplos yo mismo y publiqué una historia corta escrita por Claude para realizar mi propio experimento por si acaso. La pantalla roja apareció cuando pegué directamente desde el chatbot en el editor y desapareció si pegué texto (incluida la misma historia generada) y no vino directamente de Claude.
La publicación de Kashif Claude estuvo acompañada de ejemplos ficticios en los que se habían detectado artefactos, que según el creador anónimo tenían como objetivo demostrar el funcionamiento del sistema, no «crear un ambiente de desconfianza o acusar a ciertos usuarios». Pero las comunidades de fans se movilizaron rápidamente para nombrar y avergonzar públicamente a los escritores cuyo trabajo publicado fue marcado por la herramienta, y su creador ciertamente no ve la IA como algo positivo. «Fandom es un espacio singularmente conectado y colaborativo. Se nutre del elemento humano y de la chispa creativa que lo impulsa y alimenta», dijeron. “Si sin darnos cuenta permitimos que la IA corrompa estos espacios, ¿qué quedará?”
Anthropic no respondió a mi solicitud de verificar si el detector Claude hecho por fans funcionaba como se describe. Sin embargo, la metodología aquí parece sólida y nuestras pruebas la respaldan. No hay ninguna razón obvia para que Codecloud esté en la historia si el robot no se utiliza de alguna manera. Pero existe un claro riesgo de falsos negativos y de generalización excesiva.
El ajuste de código solo se conserva si el texto se copia directamente desde Claude al editor AO3, por lo que cualquier cosa editada en Google Docs o Microsoft Word y luego transferida a AO3 no será capturada – y como alguien que escribe para ganarse la vida, puedo dar fe de lo peligroso que es escribir directamente en un CMS. Algunos escritores marcados ya han actualizado sus trabajos para eliminar artefactos, y trabajos futuros pueden evadir fácilmente la herramienta.
Por el contrario, la marca no revela con qué intensidad se utiliza a Claude en una obra en particular. Esa pantalla carmesí brillante podría significar que toda la historia fue generada completamente por IA, o que el autor pegó algunas oraciones escritas por humanos en la Nube para revisión ortográfica o traducción, y luego las envió de regreso a AO3.
Esto no les importó a algunos miembros de la base de fans que miraban. cualquier El uso de la IA generativa como una traición imperdonable a la comunidad creativa en general. Mucha gente señala preocupaciones sobre el impacto ambiental de la tecnología y cómo se puede entrenar raspando la web abierta, que probablemente incluye trabajos de fans cargados en plataformas como AO3.
La aplicabilidad de esta herramienta en particular es limitada: AO3 no es la única plataforma para publicar obras de fans y Claude es solo uno de muchos modelos de IA. al menos Una persona afirma Han escrito un código separado que puede detectar el uso de «Claude, Deepseek y algunos ChatGPT», pero no han publicado esa solución públicamente ni han explicado cómo funciona. Pregunté a Google y OpenAI si sus modelos dejan algún rastro rastreable en la generación de texto que pudiera detectarse por medios similares, pero no respondieron.
De hecho, sería muy sorprendente que existiera un sistema de confianza universal. Informé sobre los problemas relacionados con el descubrimiento de la IA hace unos años y, hasta donde yo sé, hay no es así Actualmente es una solución tecnológica confiable para distinguir el texto generado del texto escrito por manos humanas. Sistemas como C2PA Content Credentials y SynthID de Google están logrando algunos avances hacia la identificación de IA generativa en imágenes, videos e incluso audio, pero dependen de marcas de agua y metadatos invisibles que no se transfieren al copiar y pegar texto.
Las empresas de IA tienen todos los incentivos para al menos resolver el problema internamente
Esto puede cambiar en el futuro y las empresas de IA tienen todos los incentivos para al menos resolver el problema internamente. Los primeros modelos se entrenaron con texto extraído aleatoriamente de Internet, y con la escritura humana desplazada por su contraparte sintética, podrían correr el riesgo de «Colapso del modelo“Un escenario que reduciría la precisión del resultado.
Actualmente, las sociedades de masas todavía dependen principalmente de las emociones. La mayoría de los fans no son juzgados por una herramienta como el tema de AO3, sino por «contar», que puede incluir cualquier cosa, desde estructuras de oraciones específicas, como el infame «No es X, es Y», hasta el uso excesivo de metáforas floridas. (Al menos nadie en el fandom lo ha hecho todavía Los bancos se convierten en hombres.) Pero tenemos que recordar que La IA a menudo se escribe de esta manera Porque fue entrenado con material escrito por personas reales. Ella está tratando de imitarnos. No soy lo suficientemente audaz como para compartir mis menciones de AO3, pero ciertamente leí alguna ficción demasiado elocuente en los días de Internet anteriores a ChatGPT que no pasaría esta dudosa prueba de olfateo.
La mejor solución para resaltar el trabajo de IA en AO3 ya está disponible: el sólido sistema de etiquetado del sitio. A «Creado utilizando inteligencia artificial generativa«La etiqueta existe, y muchos autores la incluyen para revelar el uso de herramientas como la nube. Sin embargo, esto requiere transparencia honesta, y hay pocos incentivos para la honestidad dada la reacción. También vale la pena señalar que el fanfiction está destinado a ser un pasatiempo, no una industria regulada.
Con estos esfuerzos para evitar que la IA desvíe la atención de la verdadera creatividad impulsada por los humanos, los autores que no se ajusten a lo que se considera una calidad de escritura aceptable pueden convertirse en víctimas inocentes de la actual caza de brujas. Al menos un escritor ha caído en esto debido a alguien en quien confía. Para editar sus fotos Hice esto usando Claude. Entonces, si el próximo fanfiction que leas te parece un poco robótico, ten en cuenta que puede que no lo sea. En realidad Es producto de un robot.