'Allí acecha un cierto peligro': cómo el inventor del primer chatbot se volvió contra la IA

May 30, 2023

El informático Joseph Weizenbaum estuvo allí en los albores de la inteligencia artificial, pero también insistió en que nunca debemos confundir las computadoras con los humanos.

En 1966, un profesor del MIT llamado Joseph Weizenbaum creó el primer chatbot. Lo eligió para el papel de un psicoterapeuta. Un usuario escribiría un mensaje en una máquina de escribir eléctrica conectada a una computadora central. Al cabo de un momento, el “psicoterapeuta” respondía.

Usuario: Todos los hombres son iguales. Chatbot: EN QUÉ MANERA Usuario: Siempre nos están molestando por una cosa u otra. Chatbot: ¿PUEDES PENSAR EN UN EJEMPLO ESPECÍFICO Usuario: Bueno, mi novio me hizo venir aquí. Chatbot: TU NOVIO TE HICIÓ VENIR AQUÍUsuario: Dice que estoy deprimido la mayor parte del tiempo.Chatbot: LAMENTO ESCUCHAR QUE ESTÁS DEPRIMIDO

Weizenbaum publicó este intercambio de muestra en un artículo de revista que explicaba cómo funcionaba el chatbot. El software era relativamente simple. Observó la entrada del usuario y aplicó un conjunto de reglas para generar una respuesta plausible. Llamó al programa Eliza, en honor a Eliza Doolittle en Pigmalión. La florista cockney de la obra de George Bernard Shaw utiliza el lenguaje para producir una ilusión: eleva su elocución hasta el punto de poder pasar por una duquesa. De manera similar, Eliza hablaba de tal manera que producía la ilusión de que entendía a la persona sentada frente a la máquina de escribir.

"Ha sido muy difícil para algunos sujetos convencer de que Eliza (con su guión actual) no es humana", escribió Weizenbaum. En un artículo de seguimiento que apareció el año siguiente, fue más específico: un día, dijo, su secretaria pidió algo de tiempo con Eliza. Después de unos momentos, le pidió a Weizenbaum que saliera de la habitación. “Creo que esta anécdota demuestra el éxito con el que el programa mantiene la ilusión de comprensión”, señaló.

Eliza no es exactamente desconocida. Causó un gran revuelo en su momento (el Boston Globe envió a un periodista a sentarse frente a la máquina de escribir y publicó un extracto de la conversación) y sigue siendo uno de los avances más conocidos en la historia de la informática. Más recientemente, el lanzamiento de ChatGPT ha renovado el interés en él. En el último año, Eliza ha sido invocada en The Guardian, el New York Times, el Atlantic y otros lugares. La razón por la que la gente sigue pensando en un software que tiene casi 60 años no tiene nada que ver con sus aspectos técnicos, que no eran demasiado sofisticados ni siquiera para los estándares de su época. Más bien, Eliza iluminó un mecanismo de la mente humana que afecta fuertemente la forma en que nos relacionamos con las computadoras.

Al principio de su carrera, Sigmund Freud notó que sus pacientes seguían enamorándose de él. No fue porque fuera excepcionalmente encantador o apuesto, concluyó. En cambio, estaba sucediendo algo más interesante: la transferencia. Brevemente, la transferencia se refiere a nuestra tendencia a proyectar sentimientos sobre alguien de nuestro pasado hacia alguien de nuestro presente. Si bien se amplifica al estar en psicoanálisis, es una característica de todas las relaciones. Cuando interactuamos con otras personas, siempre traemos un grupo de fantasmas al encuentro. El residuo de nuestra vida anterior, y sobre todo de nuestra infancia, es la pantalla a través de la cual nos vemos.

Este concepto ayuda a entender las reacciones de la gente hacia Eliza. Weizenbaum se había topado con la versión computarizada de la transferencia, en la que la gente atribuye comprensión, empatía y otras características humanas al software. Si bien él nunca usó el término, tenía una larga historia con el psicoanálisis que informó claramente cómo interpretó lo que llegaría a llamarse el "efecto Eliza".

A medida que las computadoras se han vuelto más capaces, el efecto Eliza no ha hecho más que fortalecerse. Tomemos como ejemplo la forma en que muchas personas se relacionan con ChatGPT. Dentro del chatbot hay un "modelo de lenguaje grande", un sistema matemático entrenado para predecir la siguiente cadena de caracteres, palabras u oraciones en una secuencia. Lo que distingue a ChatGPT no es sólo la complejidad del gran modelo de lenguaje que lo sustenta, sino también su inquietante voz conversacional. Como lo expresó Colin Fraser, científico de datos de Meta, la aplicación está “diseñada para engañarte, para hacerte creer que estás hablando con alguien que en realidad no está allí”.

Pero el efecto Eliza está lejos de ser el único motivo para volver a Weizenbaum. Su experiencia con el software fue el comienzo de un viaje extraordinario. Como profesor del MIT con una carrera prestigiosa, era, en sus palabras, un “sumo sacerdote, si no obispo, en la catedral de la ciencia moderna”. Pero en la década de 1970, Joseph Weizenbaum se había convertido en un hereje y publicaba artículos y libros que condenaban la visión del mundo de sus colegas y advertían sobre los peligros que planteaba su trabajo. Llegó a creer que la inteligencia artificial era un “índice de la locura de nuestro mundo”.

Hoy en día, la opinión de que la inteligencia artificial representa algún tipo de amenaza ya no es una posición minoritaria entre quienes trabajan en ella. Hay diferentes opiniones sobre qué riesgos deberían preocuparnos más, pero muchos investigadores destacados, desde Timnit Gebru hasta Geoffrey Hinton (ambos ex informáticos de Google) comparten la opinión básica de que la tecnología puede ser tóxica. El pesimismo de Weizenbaum lo convirtió en una figura solitaria entre los científicos informáticos durante las últimas tres décadas de su vida; Estaría menos solo en 2023.

Hay muchas cosas en el pensamiento de Weizenbaum que son urgentemente relevantes ahora. Quizás su herejía más fundamental fue la creencia de que la revolución informática, en la que Weizenbaum no sólo vivió sino que participó de manera central, era en realidad una contrarrevolución. Fortaleció las estructuras de poder represivas en lugar de derribarlas. Restringió, en lugar de ampliar, nuestra humanidad, lo que llevó a las personas a pensar en sí mismas como poco más que máquinas. Al ceder tantas decisiones a las computadoras, pensó, habíamos creado un mundo más desigual y menos racional, en el que la riqueza de la razón humana se había reducido a las rutinas sin sentido del código.

A Weizenbaum le gustaba decir que cada persona es producto de una historia particular. Sus ideas llevan la huella de su propia historia particular, marcada sobre todo por las atrocidades del siglo XX y las exigencias de sus demonios personales. Las computadoras eran algo natural para él. Lo difícil, dijo, es la vida.

Lo que significa ser humano –y en qué se diferencia un ser humano de una computadora– fue algo en lo que Weizenbaum pasó mucho tiempo pensando. Así que es apropiado que su propia humanidad fuera objeto de debate desde el principio. Su madre tuvo un parto difícil y sintió cierta decepción por el resultado. “Cuando finalmente me mostraron, pensó que yo era un desastre y que apenas parecía humano”, recordó más tarde Weizenbaum. "No podía creer que se suponía que este fuera su hijo".

Nació en 1923, el hijo menor de una familia judía asimilada de clase media alta en Berlín. Su padre, Jechiel, que había emigrado a Alemania desde Galicia, que se extendía por lo que hoy es el sudeste de Polonia y el oeste de Ucrania, a la edad de 12 años, era un peletero consumado que había adquirido una posición cómoda en la sociedad, un bonito apartamento y una esposa vienesa mucho más joven (la madre de Weizenbaum). Desde el principio, Jechiel trató a su hijo con un desprecio que perseguiría a Weizenbaum por el resto de su vida. “Mi padre estaba absolutamente convencido de que yo era un idiota sin valor, un completo tonto, que nunca llegaría a ser nada”, dijo más tarde Weizenbaum a los documentalistas Peter Haas y Silvia Holzinger.

Cuando tuvo edad suficiente para crear recuerdos, los nazis estaban en todas partes. Su familia vivía cerca de un bar frecuentado por los paramilitares de Hitler, las SA, y a veces veía cómo arrastraban a la gente al interior para golpearla en la trastienda. Una vez, mientras estaba fuera con su niñera, columnas de comunistas y nazis armados se alinearon y empezaron a dispararse unos a otros. La niñera lo empujó debajo de un auto estacionado hasta que las balas dejaron de volar.

Poco después de que Hitler asumiera el cargo de canciller en 1933, el gobierno aprobó una ley que restringía severamente el número de judíos en las escuelas públicas. Weizenbaum tuvo que trasladarse a una escuela de niños judíos. Fue aquí donde entró en contacto por primera vez con los Ostjuden: judíos de Europa del Este, pobres, vestidos con harapos, que hablaban yiddish. Para Weizenbaum, bien podrían haber venido de Marte. Sin embargo, el tiempo que pasó con ellos le dio lo que luego describió como “un nuevo sentimiento de camaradería”, así como una “sensibilidad ante la opresión”. Se volvió profundamente apegado a uno de sus compañeros de clase en particular. “Si el destino hubiera sido diferente, habría desarrollado un amor homosexual por este chico”, dijo más tarde. El niño “me llevó a su mundo”, el mundo del gueto judío que rodea la Grenadierstrasse de Berlín. “No tenían nada, no poseían nada, pero de alguna manera se apoyaban unos a otros”, recordó.

Un día, llevó al niño al apartamento de su familia. Su padre, que alguna vez fue un niño judío pobre de Europa del Este, estaba disgustado y furioso. Jechiel estaba muy orgulloso, recordó Weizenbaum, y tenía motivos para estarlo, dadas las distancias literales y figurativas que había recorrido desde el shtetl. Ahora su hijo traía el shtetl de vuelta a su casa.

Alejado de sus padres, más rico que sus compañeros de clase y judío en la Alemania nazi: Weizenbaum no se sentía cómodo en ninguna parte. Su instinto, dijo, siempre fue “morder la mano que me alimentaba”, provocar la figura paterna, ser un dolor en el trasero. Y este instinto presumiblemente procedía de la lección que aprendió de la hostilidad de su padre hacia él y su intolerancia hacia el niño que amaba: que el peligro podía estar dentro del propio hogar, la gente o la tribu.

En 1936, la familia abandonó Alemania repentinamente, posiblemente porque Jechiel se había acostado con la novia de un miembro de las SA. La tía de Weizenbaum era dueña de una panadería en Detroit, así que fueron allí. A los 13 años, se encontró a 4.000 millas de todo lo que conocía. "Me sentí muy, muy solo", recordó. La escuela se convirtió en un refugio de la realidad, específicamente del álgebra, que no requería inglés, que al principio no hablaba. “De todas las cosas que se podían estudiar”, dijo más tarde, “las matemáticas parecían, con diferencia, la más fácil. Las matemáticas son un juego. Es completamente abstracto”.

En la clase de metalurgia de su escuela, aprendió a operar un torno. La experiencia lo sacó de su cerebro y lo llevó a su cuerpo. Unos 70 años después, recordó la comprensión que le provocó esta nueva habilidad: que la inteligencia “no está sólo en la cabeza sino también en el brazo, en la muñeca y en la mano”. Así, a una edad temprana, existían dos conceptos que luego guiarían su carrera como practicante y crítico de la IA: por un lado, el aprecio por los placeres de la abstracción; por el otro, una sospecha de que esos placeres son escapistas y una comprensión relacionada de que la inteligencia humana existe en la persona entera y no en una sola parte.

En 1941, Weizenbaum se matriculó en la universidad pública local. La Universidad Wayne era un lugar de clase trabajadora: la asistencia era barata y estaba llena de estudiantes que tenían trabajos de tiempo completo. Las semillas de la conciencia social que se habían plantado en Berlín comenzaron a crecer: Weizenbaum vio paralelos entre la opresión de los negros en Detroit y la de los judíos bajo Hitler. Esta fue también una época de lucha de clases incandescente en la ciudad: el sindicato United Auto Workers ganó su primer contrato con Ford el mismo año en que Weizenbaum ingresó a la universidad.

Los crecientes compromisos políticos de izquierda de Weizenbaum complicaron su amor por las matemáticas. “Quería hacer algo por el mundo o la sociedad”, recordó. "Estudiar matemáticas simples, como si el mundo estuviera bien o incluso no existiera, eso no es lo que quería". Pronto tuvo su oportunidad. En 1941, Estados Unidos entró en la Segunda Guerra Mundial; al año siguiente, Weizenbaum fue reclutado. Pasó los siguientes cinco años trabajando como meteorólogo para el cuerpo aéreo del ejército, estacionado en diferentes bases en todo Estados Unidos. El ejército fue una “salvación”, dijo más tarde. Qué divertido liberarse de su familia y luchar contra Hitler al mismo tiempo.

Mientras estaba en casa de permiso, comenzó un romance con Selma Goode, una activista judía de derechos civiles y uno de los primeros miembros de los Socialistas Democráticos de América. Al poco tiempo se casaron, tuvieron un bebé y, después de la guerra, Weizenbaum regresó a Detroit. Allí reanudó sus estudios en Wayne, ahora financiados por el gobierno federal a través del GI Bill.

Luego, a finales de la década de 1940, la pareja se divorció y Goode asumió la custodia de su hijo. "Eso fue increíblemente trágico para mí", dijo más tarde Weizenbaum. "Me tomó mucho tiempo superarlo". Su estado mental siempre fue inestable: su hija Pm –pronunciada “Pim” y llamada así en honor al diario de izquierda neoyorquino PM– me dijo que había sido hospitalizado por anorexia durante su estancia en la universidad. Todo lo que hacía, sentía que lo hacía mal. En el ejército fue ascendido a sargento y dado de baja con honores; no obstante, salió convencido de que de alguna manera había obstaculizado el esfuerzo bélico. Más tarde atribuyó sus dudas a que su padre le decía constantemente que no valía nada. “Si te repiten algo así cuando eras niño, acabas creyéndolo tú mismo”, reflexionó.

A raíz de la crisis personal producida por la partida de Selma, se produjeron dos primeros encuentros importantes. Se dedicó al psicoanálisis y se dedicó a la informática.

En aquellos días, una computadora, como una psique, era un interior. "No fuiste a la computadora", dijo Weizenbaum en un documental de 2010. "En lugar de eso, entraste allí". La guerra había impulsado la construcción de máquinas gigantescas que podían mecanizar el arduo trabajo del cálculo matemático. Las computadoras ayudaron a descifrar el cifrado nazi y a encontrar los mejores ángulos para apuntar la artillería. La consolidación del complejo militar-industrial en la posguerra, en los primeros días de la Guerra Fría, atrajo grandes sumas de dinero del gobierno estadounidense al desarrollo de la tecnología. A finales de la década de 1940, los fundamentos de la computadora moderna ya estaban establecidos.

Pero todavía no fue fácil conseguir uno. Entonces uno de los profesores de Weizenbaum decidió construir el suyo propio. Reunió un pequeño equipo de estudiantes e invitó a Weizenbaum a unirse. Al construir la computadora, Weizenbaum se volvió feliz y decidido. “Estaba lleno de vida y entusiasmado con mi trabajo”, recuerda. Aquí estaban las fuerzas de abstracción que encontró por primera vez en el álgebra de la escuela secundaria. Al igual que el álgebra, una computadora modeló la realidad y, por lo tanto, la simplificó; sin embargo, podía hacerlo con tal fidelidad que uno fácilmente podría olvidar que se trataba sólo de una representación. El software también impartía una sensación de dominio. “El programador tiene una especie de poder sobre un escenario incomparablemente más grande que el de un director de teatro”, dijo más tarde en el documental de 2007 Rebel at Work. "Más grande que el de Shakespeare".

Por esa época, Weizenbaum conoció a una maestra de escuela llamada Ruth Manes. En 1952 se casaron y se mudaron a un pequeño apartamento cerca de la universidad. Ella “no podría haber estado más alejada culturalmente de él”, me dijo su hija Miriam. Ella no era una socialista judía como su primera esposa: su familia era del sur profundo. Su matrimonio representó “un intento de alcanzar la normalidad y una vida estable” por su parte, dijo Miriam. Sus pasiones políticas se enfriaron.

A principios de la década de 1960, Weizenbaum trabajaba como programador para General Electric en Silicon Valley. Él y Ruth estaban criando tres hijas y pronto tendrían una cuarta. En GE, construyó una computadora para la Marina que lanzaba misiles y una computadora para el Bank of America que procesaba cheques. "Nunca se me ocurrió en ese momento que estaba cooperando en una empresa tecnológica que tenía ciertos efectos sociales secundarios de los que podría llegar a arrepentirme", dijo más tarde.

En 1963, el prestigioso Instituto Tecnológico de Massachusetts lo llamó. ¿Le gustaría unirse a la facultad como profesor asociado visitante? “Eso fue como ofrecerle a un niño la oportunidad de trabajar en una fábrica de juguetes que fabrica trenes de juguete”, recuerda Weizenbaum.

La computadora que Weizenbaum había ayudado a construir en Detroit era un ogro, ocupaba toda una sala de conferencias y exhalaba suficiente calor para mantener caliente la biblioteca en invierno. Interactuar con él implicaba una serie de rituales altamente estructurados: se escribía un programa a mano, se codificaba como un patrón de agujeros en tarjetas perforadas y luego se pasaban las tarjetas por la computadora. Este era un procedimiento operativo estándar en los primeros días de la tecnología, lo que hacía que la programación fuera complicada y laboriosa.

Los informáticos del MIT buscaron una alternativa. En 1963, con una subvención de 2,2 millones de dólares del Pentágono, la universidad lanzó el Proyecto MAC, un acrónimo con muchos significados, incluido "cognición asistida por máquina". El plan era crear un sistema informático que fuera más accesible y responsable de las necesidades individuales.

Con ese fin, los informáticos perfeccionaron una tecnología llamada “tiempo compartido”, que permitió el tipo de informática que hoy damos por sentado. En lugar de cargar un montón de tarjetas perforadas y regresar al día siguiente para ver el resultado, puede escribir un comando y obtener una respuesta inmediata. Además, varias personas podían utilizar una única computadora central simultáneamente desde terminales individuales, lo que hacía que las máquinas parecieran más personales.

Con el tiempo compartido surgió un nuevo tipo de software. Los programas que se ejecutaban en el sistema del MIT incluían aquellos para enviar mensajes de un usuario a otro (un precursor del correo electrónico), editar texto (procesamiento de textos temprano) y buscar en una base de datos con 15.000 artículos de revistas (un JSTOR primitivo). El tiempo compartido también cambió la forma en que la gente escribía programas. La tecnología hizo posible “interactuar con la computadora de manera conversacional”, recordó más tarde Weizenbaum. El desarrollo de software podría desarrollarse como un diálogo entre el programador y la máquina: pruebas un poco de código, ves lo que obtienes y luego pruebas un poco más.

Weizenbaum quería ir más allá. ¿Qué pasaría si pudieras conversar con una computadora en un lenguaje llamado natural, como el inglés? Esta fue la pregunta que guió la creación de Eliza, cuyo éxito le dio un nombre en la universidad y le ayudó a conseguir su puesto en 1967. También llevó a Weizenbaum a la órbita del Proyecto de Inteligencia Artificial del MIT, que había sido creado en 1958 por John McCarthy y Marvin Minsky.

McCarthy había acuñado la frase “inteligencia artificial” unos años antes cuando necesitaba un título para un taller académico. La frase era lo suficientemente neutral como para evitar superposiciones con áreas de investigación existentes como la cibernética, lo suficientemente amorfa como para atraer contribuciones interdisciplinarias y lo suficientemente audaz como para transmitir su radicalismo (o, si se prefiere, arrogancia) sobre lo que las máquinas eran capaces de hacer. Este radicalismo fue afirmado en la propuesta original del taller. "Cada aspecto del aprendizaje o cualquier otra característica de la inteligencia puede, en principio, describirse con tanta precisión que se puede construir una máquina para simularlo", afirmó.

Minsky se mostró optimista y provocativo; Una de sus tácticas favoritas era declarar que el cerebro humano no era más que una “máquina de carne” cuyas funciones podían ser reproducidas, o incluso superadas, por máquinas hechas por humanos. A Weizenbaum no le gustó desde el principio. No era su fe en las capacidades de la tecnología lo que molestaba a Weizenbaum; él mismo había visto el enorme progreso de las computadoras a mediados de los años sesenta. Más bien, el problema de Weizenbaum con Minsky y con la comunidad de IA en su conjunto se redujo a un desacuerdo fundamental sobre la naturaleza de la condición humana.

En la continuación de su primer artículo sobre Eliza en 1967, Weizenbaum argumentó que ninguna computadora podría comprender completamente a un ser humano. Luego fue un paso más allá: ningún ser humano podría jamás comprender completamente a otro ser humano. Cada uno está formado por una colección única de experiencias de vida que llevamos con nosotros, argumentó, y esta herencia impone límites a nuestra capacidad de comprendernos unos a otros. Podemos usar el lenguaje para comunicarnos, pero las mismas palabras evocan diferentes asociaciones para diferentes personas – y algunas cosas no se pueden comunicar en absoluto. "Existe una privacidad fundamental en cada uno de nosotros que impide por completo la comunicación total de cualquiera de nuestras ideas al universo exterior a nosotros", escribió Weizenbaum.

Esta era una perspectiva muy diferente a la de Minsky o McCarthy. Claramente llevaba la influencia del psicoanálisis. Aquí estaba la mente no como una máquina de carne sino como una psique, algo profundo y extraño. Si a menudo somos opacos unos con otros e incluso con nosotros mismos, ¿qué esperanza hay de que una computadora nos conozca?

Sin embargo, como ilustró Eliza, era sorprendentemente fácil engañar a las personas haciéndoles sentir que una computadora sí los conocía y hacerles ver esa computadora como un ser humano. Incluso en su artículo original de 1966, Weizenbaum se preocupaba por las consecuencias de este fenómeno, advirtiendo que podría llevar a la gente a considerar que las computadoras poseen poderes de “juicio” que son “merecedores de credibilidad”. “Allí acecha un cierto peligro”, escribió.

A mediados de la década de 1960, esto era lo más lejos que estaba dispuesto a llegar. Señaló un peligro, pero no se detuvo en él. Después de todo, era un niño deprimido que había escapado del Holocausto, que siempre se sintió como un impostor, pero que había encontrado prestigio y autoestima en el elevado templo de la tecnología. Puede ser difícil admitir que algo en lo que eres bueno, algo que disfrutas, es malo para el mundo, y aún más difícil actuar basándose en ese conocimiento. Para Weizenbaum, haría falta una guerra para saber qué hacer a continuación.

El 4 de marzo de 1969, los estudiantes del MIT organizaron un “paro de la investigación” de un día para protestar por la guerra de Vietnam y el papel de su universidad en ella. La gente desafió la nieve y el frío para amontonarse en el Auditorio Kresge, en el corazón del campus, para una serie de charlas y paneles que habían comenzado la noche anterior. Noam Chomsky habló, al igual que el senador pacifista George McGovern. El activismo estudiantil había ido creciendo en el MIT, pero ésta fue la manifestación más grande hasta la fecha y recibió una amplia cobertura en la prensa nacional. “En 1969, la sensación era que los científicos eran cómplices de un gran mal, y la idea central del 4 de marzo era cómo cambiarlo”, escribió más tarde uno de los principales organizadores.

Weizenbaum apoyó la acción y quedó fuertemente afectado por el dinamismo político de la época. “No fue hasta la fusión del movimiento de derechos civiles, la guerra de Vietnam y el papel del MIT en el desarrollo de armas que me volví crítico”, explicó más tarde en una entrevista. "Y una vez que comencé a pensar en ese sentido, no pude parar". En los últimos años de su vida, reflexionaría sobre su politización durante la década de 1960 como un regreso a la conciencia social de sus días de izquierda en Detroit y sus experiencias en la Alemania nazi: “Me mantuve fiel a quien era”, dijo al La escritora alemana Gunna Wendt.

Empezó a pensar en los científicos alemanes que habían prestado su experiencia al régimen nazi. “Tuve que preguntarme: ¿quiero desempeñar ese tipo de papel?” recordó en 1995. Tenía dos opciones. Una era “reprimir todo este tipo de pensamiento”, reprimirlo. La otra era “mirarlo en serio”.

Mirarlo seriamente requeriría examinar los estrechos vínculos entre su campo y la máquina de guerra que entonces lanzaba napalm sobre los niños vietnamitas. El secretario de Defensa, Robert McNamara, defendió la computadora como parte de su cruzada para llevar una mentalidad matemática al Pentágono. Los datos, obtenidos sobre el terreno y analizados con software, ayudaron a los planificadores militares a decidir dónde colocar las tropas y dónde lanzar bombas.

En 1969, el MIT recibía más dinero del Pentágono que cualquier otra universidad del país. Sus laboratorios llevaron a cabo una serie de proyectos diseñados para Vietnam, como un sistema para estabilizar helicópteros con el fin de facilitar que un ametrallador destruyera objetivos en la jungla. El Proyecto MAC –bajo cuyos auspicios Weizenbaum había creado Eliza– había sido financiado desde sus inicios por el Pentágono.

Mientras Weizenbaum luchaba con esta complicidad, descubrió que a sus colegas, en su mayor parte, no les importaban los propósitos a los que se podría destinar su investigación. Si no lo hacemos nosotros, le dijeron, alguien más lo hará. O bien: los científicos no hacen políticas, eso se lo dejan a los políticos. Weizenbaum recordó nuevamente a los científicos de la Alemania nazi que insistían en que su trabajo no tenía nada que ver con la política.

Consumido por un sentido de responsabilidad, Weizenbaum se dedicó al movimiento contra la guerra. “Se radicalizó tanto que en ese momento no hizo mucha investigación informática”, me dijo su hija Pm. En cambio, se unió a manifestaciones callejeras y se reunió con estudiantes pacifistas. Siempre que fue posible, utilizó su estatus en el MIT para socavar la oposición de la universidad al activismo estudiantil. Después de que los estudiantes ocuparan la oficina del presidente en 1970, Weizenbaum formó parte del comité disciplinario. Según su hija Miriam, insistió en que se respetara estrictamente el debido proceso, alargando al máximo los trámites para que los estudiantes pudieran graduarse con sus títulos.

Fue durante este período cuando ciertas cuestiones no resueltas sobre Eliza empezaron a preocuparle más agudamente. ¿Por qué la gente reaccionó con tanto entusiasmo y delirante ante el chatbot, especialmente aquellos expertos que deberían saberlo mejor? Algunos psiquiatras habían aclamado a Eliza como el primer paso hacia la psicoterapia automatizada; algunos informáticos lo habían celebrado como una solución al problema de escribir software que entendiera el lenguaje. Weizenbaum se convenció de que estas respuestas eran “síntomas de problemas más profundos”, problemas que estaban relacionados de alguna manera con la guerra de Vietnam. Y si no fuera capaz de descubrir cuáles eran, no podría continuar profesionalmente.

En 1976, Weizenbaum publicó su obra maestra: El poder de la computadora y la razón humana: del juicio al cálculo. “El libro me ha abrumado, como si me hubiera estrellado contra el mar”, decía una propaganda del activista libertario Karl Hess. El libro es realmente abrumador. Es un aluvión caótico de pensamientos, a menudo brillantes, sobre las computadoras. Un vistazo al índice revela la variedad de interlocutores de Weizenbaum: no sólo colegas como Minsky y McCarthy, sino también la filósofa política Hannah Arendt, el teórico crítico Max Horkheimer y el dramaturgo experimental Eugène Ionesco. Había comenzado a trabajar en el libro después de completar una beca en la Universidad de Stanford, en California, donde no disfrutaba de responsabilidades, tenía una oficina grande y muchas discusiones estimulantes con críticos literarios, filósofos y psiquiatras. Con Computer Power and Human Reason, no estaba tanto renunciando a la informática como tratando de abrirla y dejar que tradiciones alternativas llegaran a raudales.

El libro tiene dos argumentos principales. Primero: hay una diferencia entre hombre y máquina. Segundo: hay ciertas tareas que las computadoras no deberían realizar, independientemente de si se puede obligar a que las realicen. El subtítulo del libro – Del juicio al cálculo – ofrece una pista de cómo encajan estas dos afirmaciones.

Para Weizenbaum, el juicio implica elecciones guiadas por valores. Estos valores se adquieren a lo largo de nuestra experiencia vital y son necesariamente cualitativos: no pueden plasmarse en un código. El cálculo, por el contrario, es cuantitativo. Utiliza un cálculo técnico para llegar a una decisión. Las computadoras sólo son capaces de calcular, no de juzgar. Esto se debe a que no son humanos, es decir, no tienen una historia humana: no nacieron de madres, no tuvieron infancia, no habitan en cuerpos humanos ni poseen una psique humana con un inconsciente humano. – y por lo tanto no tienen la base a partir de la cual formar valores.

Y eso estaría bien si limitáramos las computadoras a tareas que solo requirieran cálculo. Pero gracias en gran parte a una exitosa campaña ideológica emprendida por lo que llamó la “intelectualidad artificial”, la gente veía cada vez más a los humanos y las computadoras como intercambiables. Como resultado, a las computadoras se les había dado autoridad sobre asuntos en los que no tenían competencia. (Sería una “obscenidad monstruosa”, escribió Weizenbaum, permitir que una computadora realice las funciones de un juez en un entorno legal o de un psiquiatra en un entorno clínico). Ver a los humanos y las computadoras como intercambiables también significaba que los humanos habían comenzado a concebir de sí mismos como computadoras y, por lo tanto, actuar como ellas. Mecanizaron sus facultades racionales abandonando el juicio por el cálculo, reflejando la máquina en cuyo reflejo se veían a sí mismos.

Esto tuvo consecuencias políticas especialmente destructivas. Figuras poderosas del gobierno y las empresas podrían subcontratar las decisiones a sistemas informáticos como una forma de perpetuar ciertas prácticas y al mismo tiempo eximirse de responsabilidad. Así como el piloto del bombardero “no es responsable de los niños quemados porque nunca ve su aldea”, escribió Weizenbaum, el software brindó a los generales y ejecutivos un grado comparable de distancia psicológica del sufrimiento que causaron.

Permitir que las computadoras tomaran más decisiones también redujo el rango de posibles decisiones que podían tomarse. Limitado por una lógica algorítmica, el software carecía de la flexibilidad y la libertad del juicio humano. Esto ayuda a explicar el impulso conservador que está en el centro de la computación. Históricamente, la computadora llegó “justo a tiempo”, escribió Weizenbaum. ¿Pero a tiempo para qué? “A tiempo para salvar –y salvar casi intactas, de hecho, para afianzar y estabilizar– estructuras sociales y políticas que de otro modo podrían haber sido renovadas radicalmente o haberse dejado tambalearse ante las demandas que seguramente se les harían”.

Las computadoras se volvieron comunes en la década de 1960, echando raíces profundas dentro de las instituciones estadounidenses justo cuando esas instituciones enfrentaban graves desafíos en múltiples frentes. El movimiento por los derechos civiles, el movimiento contra la guerra y la Nueva Izquierda son sólo algunos de los canales a través de los cuales encontraron expresión las energías antisistema de la época. Los manifestantes con frecuencia atacaron la tecnología de la información, no sólo por su papel en la guerra de Vietnam sino también por su asociación con las fuerzas aprisionadoras del capitalismo. En 1970, activistas de la Universidad de Wisconsin destruyeron una computadora central durante la ocupación de un edificio; Ese mismo año, los manifestantes casi hicieron estallar uno con napalm en la Universidad de Nueva York.

Ésta fue la atmósfera en la que aparecieron el poder informático y la razón humana. La informática se había politizado intensamente. Todavía quedaba abierta la cuestión del camino que debería seguir. De un lado estaban aquellos que “creen que hay límites a lo que se debe hacer con las computadoras”, escribe Weizenbaum en la introducción del libro. Por el otro, estaban aquellos que “creen que las computadoras pueden, deben y harán todo”: la intelectualidad artificial.

Marx describió una vez su obra El Capital como “el misil más terrible que hasta ahora haya sido lanzado contra la cabeza de la burguesía”. El poder informático y la razón humana parecieron golpear a la intelectualidad artificial con una fuerza similar. McCarthy, el gurú original de la IA, estaba furioso: “Moralista e incoherente”, una obra de “nuevas consignas de izquierda”, escribió en una reseña. Benjamin Kuipers del Laboratorio de IA del MIT, estudiante de doctorado de Minsky, se quejó de las “duras y a veces estridentes acusaciones de Weizenbaum contra la comunidad de investigación en inteligencia artificial”. Weizenbaum se lanzó a la palestra: escribió una respuesta punto por punto a la reseña de McCarthy, lo que provocó una respuesta del científico de IA de Yale, Roger C. Schank, a la que Weizenbaum también respondió. Claramente disfrutaba el combate.

En la primavera de 1977, la controversia llegó a la portada del New York Times. “¿Pueden las máquinas pensar? ¿Deberían ellos? El mundo de la informática se encuentra en medio de una disputa fundamental sobre estas cuestiones”, escribió el periodista Lee Dembart. Weizenbaum concedió una entrevista desde su oficina del MIT: “He declarado herejía y soy un hereje”.

Computer Power and Human Reason causó tanto revuelo porque su autor provenía del mundo de la informática. Pero otro factor fue el estado de asedio de la propia IA. A mediados de la década de 1970, una combinación de ajuste presupuestario y creciente frustración dentro de los círculos gubernamentales por el hecho de que el campo no estaba a la altura de sus expectativas había producido el primer “invierno de la IA”. Los investigadores ahora luchaban por conseguir financiación. La elevada temperatura de su respuesta a Weizenbaum probablemente se debió, al menos en parte, a la percepción de que los estaba pateando cuando estaban caídos.

La IA no fue la única Un área de la computación que está siendo reevaluada críticamente en estos años. El Congreso había estado contemplando recientemente formas de regular el “procesamiento electrónico de datos” por parte de gobiernos y empresas para proteger la privacidad de las personas y mitigar los daños potenciales de la toma de decisiones computarizada. (La diluida Ley de Privacidad se aprobó en 1974.) Entre los radicales que atacaban los centros de computación en el campus y el Capitolio que examinaba de cerca la regulación de los datos, había llegado el primer “techlash”. Fue un buen momento para Weizenbaum.

El poder de la computadora y la razón humana le dieron reputación nacional. Estaba encantado. “El reconocimiento era muy importante para él”, me dijo su hija Miriam. Como el “pesimista interno del laboratorio del MIT” (el Boston Globe), se convirtió en una fuente de consulta para los periodistas que escribían sobre IA y computadoras, alguien en quien siempre se podía confiar para una cita memorable.

Pero las dudas y ansiedades que lo habían acosado desde la infancia nunca desaparecieron. “Recuerdo que dijo que se sentía como un fraude”, me dijo Miriam. “No creía que fuera tan inteligente como la gente creía. Nunca se sintió lo suficientemente bueno”. A medida que el entusiasmo en torno al libro disminuyó, estos sentimientos se volvieron abrumadores. Su hija Pm me dijo que Weizenbaum intentó suicidarse a principios de los años 1980. Fue hospitalizado en un momento; un psiquiatra le diagnosticó un trastorno de personalidad narcisista. Los bruscos cambios entre la grandiosidad y el abatimiento pasaron factura a sus seres queridos. “Era una persona muy dañada y no podía absorber mucho del amor y la familia”, dijo Pm.

En 1988 se retiró del MIT. “Creo que terminó sintiéndose bastante alienado”, me dijo Miriam. A principios de la década de 1990, su segunda esposa, Ruth, lo abandonó; En 1996 regresó a Berlín, la ciudad de la que había huido 60 años antes. "Una vez que regresó a Alemania, parecía mucho más contento y comprometido con la vida", dijo Pm. Allí encontró la vida más fácil. A medida que su fama se desvaneció en Estados Unidos, aumentó en Alemania. Se convirtió en un orador popular, llenando salas de conferencias y dando entrevistas en alemán.

El último Weizenbaum era cada vez más pesimista sobre el futuro, mucho más que en los años setenta. El cambio climático lo aterrorizaba. Aun así, mantuvo la esperanza en la posibilidad de un cambio radical. Como lo expresó en un artículo de enero de 2008 para el Süddeutsche Zeitung: “La creencia de que la ciencia y la tecnología salvarán a la Tierra de los efectos del colapso climático es engañosa. Nada salvará a nuestros hijos y nietos de un infierno terrenal. A menos que organicemos la resistencia contra la codicia del capitalismo global”.

Dos meses después, el 5 de marzo de 2008, Weizenbaum murió de cáncer de estómago. Tenía 85 años.

Cuando Weizenbaum murió, la IA tenía mala reputación. El término se había convertido en sinónimo de fracaso. Las ambiciones de McCarthy, formuladas en el apogeo del siglo americano, se fueron extinguiendo gradualmente en las décadas siguientes. Lograr que las computadoras realicen tareas asociadas con la inteligencia, como convertir voz en texto o traducir de un idioma a otro, resultó ser mucho más difícil de lo previsto.

Hoy, la situación parece bastante diferente. Contamos con software que puede realizar bastante bien el reconocimiento de voz y la traducción de idiomas. También disponemos de software que puede identificar rostros y describir los objetos que aparecen en una fotografía. Ésta es la base del nuevo auge de la IA que se ha producido desde la muerte de Weizenbaum. Su versión más reciente se centra en aplicaciones de “IA generativa” como ChatGPT, que pueden sintetizar texto, audio e imágenes con una sofisticación cada vez mayor.

A nivel técnico, el conjunto de técnicas que llamamos IA no son las mismas que Weizenbaum tenía en mente cuando comenzó su crítica en este campo hace medio siglo. La IA contemporánea se basa en “redes neuronales”, que es una arquitectura de procesamiento de datos ligeramente inspirada en el cerebro humano. Las redes neuronales ya habían pasado de moda en los círculos de la IA cuando salió a la luz Computer Power and Human Reason, y no experimentarían un resurgimiento serio hasta varios años después de la muerte de Weizenbaum.

Pero Weizenbaum siempre estuvo menos preocupado por la IA como tecnología que por la IA como ideología, es decir, por la creencia de que se puede y se debe hacer que una computadora haga todo lo que un ser humano puede hacer. Esta ideología está viva y coleando. Puede que incluso sea más fuerte que en la época de Weizenbaum.

Algunas de las pesadillas de Weizenbaum se han hecho realidad: los llamados instrumentos de evaluación de riesgos están siendo utilizados por jueces de todo Estados Unidos para tomar decisiones cruciales sobre fianzas, sentencias, libertad condicional y libertad condicional, mientras que los chatbots impulsados ​​por inteligencia artificial se promocionan habitualmente como una alternativa automatizada a ver un terapeuta humano. Las consecuencias pueden haber sido tan grotescas como esperaba. Según informes de principios de este año, un padre belga de dos hijos se suicidó después de pasar semanas hablando con un avatar de IA llamado... Eliza. Los registros de chat que su viuda compartió con el periódico La Libre, con sede en Bruselas, muestran a Eliza animando activamente al hombre a suicidarse.

Por otro lado, Weizenbaum probablemente se sentiría alentado al saber que el potencial destructivo de la IA es ahora un tema de inmensa preocupación. Preocupa no sólo a los responsables políticos (la UE está ultimando la primera regulación integral de la IA del mundo, mientras que la administración Biden ha puesto en marcha una serie de iniciativas en torno a la IA “responsable”), sino a los propios profesionales de la IA.

En términos generales, hoy en día existen dos escuelas de pensamiento sobre los peligros de la IA. El primero –influenciado por Weizenbaum– se centra en los riesgos que existen ahora. Por ejemplo, expertos como la lingüista Emily M. Bender llaman la atención sobre cómo los grandes modelos lingüísticos como los que se encuentran debajo de ChatGPT pueden reflejar puntos de vista regresivos, como el racismo y el sexismo, porque están entrenados con datos extraídos de Internet. Estos modelos deben entenderse como una especie de “loro”, escriben ella y sus coautores en un influyente artículo de 2021, “uniendo al azar secuencias de formas lingüísticas que ha observado en sus vastos datos de entrenamiento, de acuerdo con información probabilística sobre cómo funcionan”. combinar."

La segunda escuela de pensamiento prefiere pensar en términos especulativos. Sus seguidores están menos interesados ​​en los daños que ya existen que en los que pueden surgir algún día, en particular el “riesgo existencial” de una IA que se vuelve “superinteligente” y aniquila a la raza humana. Aquí la metáfora reinante no es un loro sino Skynet, el sistema informático genocida de las películas Terminator. Esta perspectiva cuenta con el ferviente apoyo de varios multimillonarios tecnológicos, incluido Elon Musk, que han financiado una red de think tanks, subvenciones y becas con ideas afines. También ha atraído críticas de miembros de la primera escuela, quienes observan que tales agoreros son útiles para la industria porque desvían la atención de los problemas reales y actuales de los que son responsables sus productos. Si "proyectas todo hacia el futuro lejano", señala Meredith Whittaker, dejas "el status quo intacto".

Weizenbaum, siempre atento a las formas en que las fantasías sobre las computadoras pueden servir a intereses poderosos, probablemente estaría de acuerdo. Pero, no obstante, hay un hilo de pensamiento existencial sobre el riesgo que se superpone en cierta medida con el suyo: la idea de que la IA es ajena. “Una máquina superinteligente sería tan extraña para los humanos como los procesos de pensamiento humanos lo son para las cucarachas”, argumenta el filósofo Nick Bostrom, mientras que el escritor Eliezer Yudkowsky compara la IA avanzada con “toda una civilización alienígena”.

Weizenbaum añadiría la siguiente advertencia: la IA ya es extraña, incluso sin ser “superinteligente”. Los humanos y las computadoras pertenecen a reinos separados e inconmensurables. No hay manera de reducir la distancia entre ellos, como los partidarios del riesgo existencial esperan lograr mediante la “alineación de la IA”, un conjunto de prácticas para “alinear” la IA con los objetivos y valores humanos para evitar que se convierta en Skynet. Para Weizenbaum, no podemos humanizar la IA porque la IA es irreductiblemente no humana. Sin embargo, lo que sí se puede hacer es no hacer que las computadoras hagan (o signifiquen) demasiado. Nunca deberíamos “sustituir un sistema informático por una función humana que implique respeto, comprensión y amor interpersonales”, escribió en Computer Power and Human Reason. Vivir bien con las computadoras significaría ponerlas en el lugar que les corresponde: como ayudas para el cálculo, nunca para juzgar.

Weizenbaum nunca descartó la posibilidad de que algún día la inteligencia pudiera desarrollarse en una computadora. Pero si así fuera, le dijo al escritor Daniel Crevier en 1991, sería “al menos tan diferente como lo es la inteligencia de un delfín a la de un ser humano”. Aquí se esconde un posible futuro que no es ni una cámara de resonancia llena de loros racistas ni la distopía hollywoodense de Skynet. Es un futuro en el que formaremos una relación con la IA como lo haríamos con otra especie: de manera incómoda, a través de grandes distancias, pero con el potencial de generar algunos momentos gratificantes. Los delfines serían malos jueces y terribles psiquiatras. Pero podrían ser amigos interesantes.

Siga la lectura larga en Twitter en @gdnlongread, escuche nuestros podcasts aquí y regístrese para recibir el correo electrónico semanal de lectura larga aquí.