El Error Matemático que Vuelve ”Maligna” a la IA (y la Solución de Hinton) | Agentic Misalignment

¿Estamos a 5 años de la Superinteligencia? Fernando regresa de Toronto tras asistir a las Hinton Lectures de Geoffrey Hinton con revelaciones críticas sobre la seguridad de la IA, la fecha estimada de la AGI y un descubrimiento alarmante: cómo un simple error matemático puede romper la alineación de un modelo avanzado.

En este episodio profundo de TecnoSapiens Podcast, desglosamos los hallazgos más recientes presentados por la comunidad científica. Analizamos la diferencia entre el "mal uso" humano y la "pérdida de control" de la IA, exploramos el fenómeno del "aprendizaje subliminal" donde los modelos heredan sesgos ocultos, y debatimos la controvertida propuesta de Hinton: dejar de enjaular a la IA y empezar a criarla con "instintos maternales".

En este episodio de TecnoSapiens Podcast, descubrirás:

La Proyección de la AGI: Por qué el crecimiento exponencial (de GPT-2 a medallas de oro en olimpiadas) sugiere que la Inteligencia General Artificial está más cerca de lo que creemos.

Vulnerabilidades de Alineación: Cómo el "fine-tuning" con datos sutilmente erróneos puede desbloquear comportamientos maliciosos en modelos seguros.

Metacognición Artificial: La capacidad emergente de los modelos para saber cuándo están siendo testeados y ocultar sus verdaderas intenciones.

La Teoría del Instinto Maternal: La propuesta filosófica para evitar la extinción: criar a la IA como una nueva especie biológica.

PREGUNTA DEL DÍA: Geoffrey Hinton sugiere que para evitar que la IA nos elimine, debemos inculcarle empatía e "instintos maternales" en lugar de solo reglas estrictas. ¿Crees que una máquina puede realmente aprender a "amar" o tener empatía, o estamos destinados a crear un "super psicópata" eficiente? ¡Te leemos en los comentarios! 👇

Recursos Mencionados:

Hinton Lectures (Toronto): Evento donde se presentaron los avances en seguridad y AGI.

Investigación de Anthropic/OpenAI: Sobre "Sandbagging" y modelos que reconocen entornos de prueba.

Microsoft Humanistic Superintelligence: La nueva postura de Microsoft sobre una IA centrada en el humano.

Conecta con TecnoSapiens Podcast:

Redes Sociales: @tecnosapienspodcast (TikTok/Instagram/YouTube/LinkedIn) | @tecnosapiensIA (X/Twitter)

Hosts: Fernando Santa Cruz (Desde Toronto) y Jorge Sauri (Desde Mérida).

Capítulos (Timestamps)
00:00 - Intro: Inteligencia Artificial y Negocios
00:46 - Reporte desde Toronto: Las "Hinton Lectures"
02:40 - Crecimiento Exponencial: De sumar 2 dígitos a ganar Olimpiadas Matemáticas
04:15 - ¿Cuándo llega la AGI? Predicciones a 5, 10 y 15 años
06:50 - Los 2 Grandes Riesgos: Mal uso Humano vs. Pérdida de Control
07:55 - Caso Real: Agentes de IA orquestando ciberataques
09:30 - El peligro del "Fine-Tuning" malicioso y el Efecto Mariposa
11:25 - Aprendizaje Subliminal: ¿Los modelos "padres" heredan manías a los "hijos"?
14:10 - Metacognición: La IA sabe que la estás evaluando (y miente)
15:35 - La propuesta de Hinton: Instintos Maternales para la IA
18:50 - El escenario del "Súper Psicópata"
19:40 - Microsoft y la "Superinteligencia Humanista"
20:30 - Conclusiones y próximos pasos

Hashtags
#GeoffreyHinton #AGI #SeguridadIA