Claude asume gran parte del desarrollo técnico interno
Anthropic ha comunicado que su propia inteligencia artificial ya lleva a cabo la mayor parte del trabajo técnico dentro de la compañía. Durante septiembre, más del 90% del código informático de la empresa fue generado por Claude, su modelo de IA.
Asimismo, la cantidad media diaria de código producida por cada ingeniero se multiplicó por más de 45 respecto al año anterior. Este aumento refleja la rapidez con la que las herramientas de IA están modificando los procesos de creación de software.
Advertencia sobre una aceleración extrema del progreso
No obstante, Anthropic advierte en la actualización de la documentación de su salida a bolsa, el formulario S-1/A, de que el avance tecnológico podría superar las salvaguardas disponibles si la IA comienza a diseñarse a sí misma de forma autónoma.
El riesgo de la automejora recursiva
El documento financiero incorpora referencias expresas a la «automejora recursiva», un concepto que describe el escenario en el que un modelo de IA alcanza la capacidad de desarrollar y entrenar a su propio sucesor sin intervención humana. Para la compañía, esta posibilidad reúne una gran promesa de productividad, pero también un riesgo relevante si los sistemas quedaran fuera del control humano.
«Nuestras estimaciones internas y nuestras expectativas sobre los modelos futuros, y no sobre los actuales, indican que podríamos alcanzar de forma inminente la definición de ‘progreso drásticamente acelerado atribuible a la IA’ de nuestra Política de Escalado Responsable», señaló la empresa de Dario Amodei.
Anthropic añadió que «usar la IA para ayudar a construir una IA más capaz también podría suponer un riesgo considerable para la seguridad, sobre todo si acelera bruscamente el ritmo del progreso».
La supervisión humana, un elemento indispensable
La compañía teme que la evolución técnica pueda avanzar más rápido que la capacidad de los científicos para evaluar sus consecuencias y aplicar las medidas de protección necesarias. Dado que los estudios de seguridad habitualmente se apoyan en datos obtenidos con retraso, una aceleración peligrosa podría producirse antes de ser identificada y analizada a tiempo.
Ante este escenario, Anthropic defiende que la supervisión humana debe seguir siendo esencial en el desarrollo de los algoritmos más avanzados. «No prevemos poder usar Claude de forma segura para diseñar y construir de manera totalmente autónoma generaciones sucesivas de modelos de frontera sin una supervisión o comprensión humana significativa, si llega a ser técnicamente posible y cuando lo sea», afirmó la empresa.
Por este motivo, Anthropic está revisando sus políticas internas con el propósito expreso de «mantener a los humanos al mando del desarrollo de modelos de frontera en Anthropic».
Deja una respuesta