En junio de 2021, GitHub anunció Copilot, un tipo de autocompletado de código de computadora impulsado por la tecnología de generación de texto OpenAI. Proporcionó una visión temprana del notable potencial de la IA generativa para automatizar trabajos valiosos. Dos años después, Copilot es uno de los ejemplos más maduros de cómo la tecnología puede asumir tareas que antes debían realizarse manualmente.
Esta semana, Github publicó un informe que, basado en datos de casi un millón de codificadores que pagan por usar Copilot, muestra cuán transformadora se ha vuelto la codificación para la IA. En promedio, aceptaron las sugerencias del asistente de IA alrededor del 30 por ciento de las veces, lo que indica que el sistema es notablemente bueno para predecir símbolos útiles.
El sorprendente gráfico anterior muestra cómo los usuarios tienden a aceptar más sugerencias de Copilot a medida que pasan más meses usando la herramienta. El informe también encuentra que los programadores optimizados para IA ven aumentar su productividad con el tiempo, según el hecho de que un estudio anterior de Copilot informó un vínculo entre la cantidad de sugerencias aceptadas y la productividad del programador. Un nuevo informe de GitHub dice que las mayores ganancias de productividad se observan entre los desarrolladores menos experimentados.
A primera vista, esta es una excelente imagen de una nueva tecnología que rápidamente está demostrando su valor. Cualquier tecnología que mejore la productividad y mejore las capacidades de los trabajadores menos calificados puede ser una bendición tanto para las personas como para la economía en general. GitHub continúa ofreciendo algunas predicciones no oficiales, estimando que la criptografía de IA podría aumentar el PIB mundial en $ 1,5 billones para 2030.
Pero un gráfico de GitHub que muestra el apego de los programadores a Copilot me recordó otro estudio del que escuché recientemente, mientras conversaba con Talia Ringer, profesora de la Universidad de Illinois en Urbana-Champaign, sobre la relación de los programadores con herramientas como Copilot.
A fines del año pasado, un equipo de la Universidad de Stanford publicó un artículo que analizaba cómo el uso de un asistente de IA que crearon para generar código afecta la calidad del código que produce la gente. Los investigadores descubrieron que los programadores que reciben sugerencias de IA tienden a incluir más errores en su código final, pero aquellos que tienen acceso a la herramienta tienden a creer que su código fue más Creer. “Hay beneficios y riesgos potenciales asociados” con la programación junto con la IA, dice Ringer. “Más código no es mejor código”.
Cuando piensas en la naturaleza de la programación, este descubrimiento no es sorprendente. Como escribió Clive Thompson en una función de WIRED de 2022, Copilot puede parecer un milagro, pero sus sugerencias se basan en patrones en el trabajo de otros programadores, que pueden ser defectuosos. Estas conjeturas pueden crear errores que son endiabladamente difíciles de detectar, especialmente cuando está fascinado por lo buena que puede ser la herramienta.