La Universidad de Kansas presenta un detector de IA avanzado para la detección de escritura académica

por Srikanth9 de junio de 2023, 13:02279Puntos de vista

La química de la Universidad de Kansas, Heather Desaire, ha presentado una tecnología de vanguardia capaz de detectar texto científico generado por ChatGPT con una impresionante precisión del 99 %. Este avance utiliza un generador de texto de Inteligencia Artificial (IA). El notable logro de Desaire se documentó en la reconocida revista revisada por pares "Cell Reports Physical Science", donde no solo demostró la eficacia de su método de detección de IA, sino que también proporcionó el código fuente necesario para que otros reproduzcan esta herramienta innovadora.

Heather Desaire, la Cátedra Keith D. Wilner de Química en KU, enfatizó la necesidad urgente de herramientas precisas de detección de IA para mantener la integridad científica. Desaire expresó su preocupación por los generadores de texto de IA como ChatGPT, afirmando que fabrican hechos. En el ámbito de la publicación científica académica, donde se comparten descubrimientos revolucionarios y la vanguardia del conocimiento humano, es fundamental evitar la inclusión de falsedades creíbles que podrían contaminar la literatura. Desaire reconoció la ausencia de un método automatizado infalible para identificar estos elementos engañosos conocidos como "alucinaciones". Cuando los hechos científicos genuinos se mezclan con contenido generado por IA convincente pero fabricado, la confiabilidad y el valor de las publicaciones inevitablemente disminuyen.

Explicó que la efectividad de su método de detección se basa en centrarse específicamente en la escritura científica que se encuentra comúnmente en las revistas revisadas por pares. Al reducir el alcance de esta manera, su enfoque logra una mayor precisión en comparación con las herramientas de detección de IA existentes, como el detector RoBERTa, cuyo objetivo es identificar la IA en tipos de escritura más generales.

Desaire dijo que es factible desarrollar un método altamente preciso para diferenciar entre escritura humana y ChatGPT. Sin embargo, lograr tal precisión requiere limitar el análisis a un grupo específico de humanos que escriben de una manera distinta. Por el contrario, los detectores de IA existentes están diseñados como herramientas generales aplicables a varios tipos de escritura. Si bien cumplen bien su propósito previsto, no son tan precisos como una herramienta diseñada específicamente para un propósito particular y limitado.

En su investigación, Desaire destacó la importancia crítica de la precisión al acusar a las personas de utilizar la IA de manera subrepticia, enfatizando la necesidad de evitar identificaciones erróneas frecuentes. Sin embargo, reconoció que lograr la precisión a menudo implica sacrificar la generalización. Desaire colaboró ​​con su grupo de investigación en KU, que incluía a Romana Jarosova, profesora asistente de investigación de química, David Huax, analista de sistemas de información, y las estudiantes de posgrado Aleesa E. Chua y Madeline Isom. El éxito del equipo en la detección de texto de IA se puede atribuir a la incorporación de conocimientos humanos en el diseño del código, yendo más allá de la dependencia de la detección de patrones de aprendizaje automático.

Desaire reveló que su enfoque involucró un conjunto de datos significativamente más pequeño y un mayor grado de intervención humana para identificar las distinciones cruciales para su detector. Específicamente, construyeron su estrategia utilizando solo 64 documentos escritos por humanos y 128 documentos generados por IA como datos de entrenamiento. El tamaño de este conjunto de datos es aproximadamente 100 000 veces más pequeño que el que se usa normalmente para entrenar otros detectores.

Desaire enfatizó la importancia de esta diferencia, equiparándola a la brecha entre el costo de una taza de café y una casa. La ventaja de su pequeño conjunto de datos era su capacidad de procesamiento rápido, y todos los documentos podían ser revisados ​​minuciosamente por humanos. Al aprovechar su intelecto humano, pudieron identificar diferencias valiosas dentro de los conjuntos de documentos, en lugar de depender únicamente de estrategias desarrolladas previamente para distinguir entre contenido humano y generado por IA.

El enfoque de Desaire, según lo declarado por KU, se desarrolló de forma independiente, sin depender de las estrategias utilizadas en los métodos de detección de IA anteriores. Como resultado, su técnica posee elementos distintivos que son completamente únicos en el campo de la detección de texto por IA. Desaire admitió que ni siquiera consultaron la literatura existente sobre detección de texto de IA hasta que tuvieron una herramienta funcional propia. En lugar de seguir el pensamiento convencional de los informáticos en la detección de texto, confiaron en su intuición para determinar qué sería efectivo, e incluso expresaron un ligero sentimiento de vergüenza por su enfoque poco convencional.

Desaire y su equipo abordaron los métodos de detección de IA de manera diferente a la investigación anterior. En lugar de centrarse en analizar el texto generado por IA, cambiaron su atención para comprender los rasgos distintivos del texto escrito por humanos. Si bien la mayoría de los investigadores se concentran en descifrar cómo se ve el texto generado por IA, Desaire y su equipo se preguntaron cómo la escritura humana en su contexto específico difiere de los textos de IA. Aunque la escritura de IA se deriva en última instancia de la escritura humana, el texto generado por IA, particularmente de ChatGPT, tiende a ser una composición generalizada amalgamada de diversas fuentes. Al priorizar el estudio de las características de la escritura humana, Desaire y su equipo aportaron una nueva perspectiva al desarrollo de técnicas de detección de IA.

ella destaca la naturaleza única de la escritura de los científicos, distinguiéndola de la escritura humana general como una forma especializada. Ha hecho que el código de detección de IA de su equipo sea de libre acceso, con la esperanza de alentar a las personas que pueden no tener experiencia en programación de computadoras a involucrarse con la IA y la detección de IA. Si bien reconoce el impacto innovador de tecnologías como ChatGPT y su adopción generalizada, Desaire enfatiza que con la orientación y el esfuerzo adecuados, incluso los estudiantes de secundaria pueden replicar sus logros.

Noticias de IA

Blogger tecnológico apasionado por las tecnologías emergentes, que trae cambios revolucionarios a la vida de las personas. Interesado en explorar los últimos Gadgets, programas SaaS.