Abstract:

This article presents an analysis of the first episode of the sixth season of the anthology series Black Mirror, titled "Joan is awful". First, it will address the freedoms relinquished by using technological products and services, specifically, by accepting terms and conditions or community rules. Second, it will delve into the ethical implications of using artificial intelligence. Finally, within the ethical tensions discussed, emphasis will be made on the possibility of AI acquiring consciousness.

Keywords: Autonomy | Subjectivity | Intelligence | Artificial

Términos y condiciones

El nudo del capítulo, el conflicto, nace cuando la protagonista, Joan, decide ver Streamberry (un servicio de streaming que parodia a Netflix de forma explícita) con su pareja tras un día de trabajo. Mientras deciden qué ver, descubren una serie protagonizada por Salma Hayek titulada Joan is awful (Joan es horrible), en la que la estética de la protagonista se asemeja meticulosamente a la de la espectadora. Al comenzar a ver el programa, por iniciativa-presión de su pareja, descubre que es una copia punto a punto de su día. Esto la lleva a tener un ataque de pánico y problemas con todos sus conocidos, también retratados en la serie. Al otro día, este suceso se repite en un nuevo capítulo. Frente a esto, Joan decide tomar medidas legales. Sin embargo, su abogada le informa que no hay nada que pueda hacer, ya que cedió su imagen, nombre y privacidad al aceptar los términos y condiciones necesarios para suscribirse a Streamberry, quienes acceden a la información de su día a día gracias a la cámara y micrófono de su celular.

En la actualidad, son numerosos los servicios que requieren aceptar términos y condiciones antes de poder acceder al uso de los mismos. Son tantos que probablemente el lector promedio de este ensayo haya aceptado una versión de los mismos la última semana o el último mes. Esta suerte de contrato nos recuerda al personaje de los cuentos de hadas recolectados por los hermanos Grimm, Rumpelstiltskin, quien, por medio de diversas artimañas, engaña a sus víctimas para que acepten tratos que, a la larga, los perjudicarán en favor del mañoso duende. Adaptaciones modernas de este cuento (Shrek: Forever After y Once Upon a Time), retratan estos tratos, estas promesas, como un contrato que las víctimas firman tras prometérsele una recompensa soñada. Ese contrato guarda muchas similitudes con los términos y condiciones modernos, ambos son escritos extremadamente largos y técnicos, cuya prosa es intencionalmente tediosa para que se omita su lectura, logrando así que los firmantes pasen por arriba la letra chica de los mismos, el precio a pagar por recibir esa recompensa anhelada. El timing es otro elemento clave, Rumpelstiltskin aparece en momentos de extrema necesidad, valiéndose de la desesperación de los individuos. Análogamente, los botones para aceptar las cookies (permiso para que la página/app pueda tener acceso a nuestra navegación previa) aparecen en los momentos menos oportunos instando a los usuarios a aceptar la configuración predeterminada, en lugar de configurar sus preferencias de forma manual, para volver rápidamente a lo que estaban haciendo. El léxico utilizado en estos contratos implica un conocimiento legal ajeno al usuario promedio y se basa en la temporalidad contemporánea, marcada por los tiempos breves y la cortísima duración de la ventana de atención (cercana a la duración de un reel de Instagram o un TikTok), lo cual implica que la presunción de subliminalidad del contenido del contrato se cumpla. Si bien la figura de lo subliminal es importante en este análisis, creo más pertinente utilizar el término supraliminal acuñado por Günther Anders (1975), el cual refiere a fenómenos tan grandes que no podemos verlos ni imaginarlos. En los términos y condiciones se cede algo tan valioso como la privacidad, pero el usuario no concibe eso al presentarle treinta y dos páginas escritas en una letra minúscula. La firma de los mismos es un automatismo, una obviedad, una acción que se efectúa de manera acrítica que es acusada solamente de burocracia innecesaria, pero no se percibe (generalmente) peligro alguno.

Los términos y condiciones se rigen por el Principio de Libertad Contractual, entendiéndose por el mismo a la potestad que tienen las personas para generar obligaciones entre individuos y/o corporaciones mediante la celebración de un contrato, siendo su único límite lo establecido por la ley. Esto implica aceptar lineamientos conductuales y ceder ciertos derechos. Un ejemplo de esto se ve en las redes sociales, cuando se bloquea una cuenta por incumplir normativas de convivencia o se ceden los derechos de propiedad de las fotos y/o videos subidos a la plataforma. La utilización de esos datos tiene diversas funciones, desde mejorar el algoritmo del servicio ofrecido para ajustarse más a nuestras preferencias, hasta la venta de datos “privados” como las conversaciones efectuadas dentro de la red a marcas que los utilizarán como estudio de mercado. En países autoritarios, y algunos considerados libres, estos datos fueron utilizados por el Estado para controlar a sus ciudadanos (Ugarte, 2022).

Para complejizar la cuestión, los términos y condiciones de los servicios digitales no son estáticos, sino que cambian todo el tiempo, accediendo a nuestra renovada confirmación mediante un cartel que aparece y no permite utilizar el servicio (ver películas, por ejemplo) hasta aceptar los nuevos términos, los cuales no se encuentran en el recuadro, sino que deben descargarse o acceder a otra página para visualizarlos, o simplemente se toma al pago de la mensualidad como una aceptación de los nuevos lineamientos. Esto impide que incluso una lectura detallada de los mismos al momento de contratar el servicio nos blinde de sus efectos perniciosos.

Según el CELE [1], las normas que impactan la actividad de los usuarios se encuentran dispersas en múltiples instrumentos, sitios y formatos. Ciertos ajustes específicos, tales como los relativos a la pandemia o a las elecciones estadounidenses de 2020, no se incluyen en el cuerpo de las normas comunitarias, sino que se anuncian de manera informal y dispersa en los blogs de las empresas o en la cuenta personal de su director ejecutivo, como es el caso de Facebook. Asimismo, los términos utilizados en estas comunicaciones suelen ser vagos y su aplicación queda al criterio de los empleados del servicio. Por ejemplo, en su política sobre discurso de odio, Facebook prohíbe las generalizaciones, pero permite las afirmaciones relacionadas con comportamientos puntuales, siempre que sean “calificadas”. Sin embargo, la política no explica qué es una afirmación calificada. Esto implica que lo que hoy está permitido por las normas comunitarias, mañana puede no estarlo y, en consecuencia, estar actualizado de forma constante implicaría una serie de operaciones no acordes con los tiempos de los usuarios.

¿Libre albedrío?

El dilema de las redes sociales de Jeff Orlowski es una docuficción que explora los peligros de las redes sociales: el influjo en los mecanismos fisiológicos de la adicción, su uso en política, su impacto en salud mental y su rol en la difusión de teorías de conspiración. Uno de los temas principales es el manejo de los datos, evidenciando como estas plataformas son capaces de crear un perfil de cada uno de sus usuarios, el cual no es público, a partir de las publicaciones a las que reaccionan, las páginas que siguen y los segundos que pasan mirando una imagen o un video. Este perfil contiene posiciones políticas, preferencias sexuales, identidad de género, creencias religiosas, etcétera. Una huella digital (en la doble acepción de la palabra), un genoma cognitivo más preciso que la imagen de nosotros mismos que tienen nuestros familiares y amigos. Este perfil se nutre de información pública e información que consideramos privada, incluso de los supuestos navegadores incógnitos, los cuales no dejan un historial visible para otros usuarios de la cuenta, pero sí dejan registro de su actividad para los proveedores de la misma.

En la actualidad, es común escuchar hablar de libertad de elección/acción, de mayor poder para el individuo, de un pensamiento personal menos influenciado por las instituciones y por los grandes sistemas de creencia/pensamiento. Denett (2004) propone que el libre albedrío se basa en la capacidad de las personas para tomar decisiones racionales y conscientes, evaluando las opciones disponibles y eligiendo de manera autónoma. Sostiene que el libre albedrío y la determinación son compatibles entre sí, y plantea que la libertad puede ser entendida en términos de la capacidad de actuar de acuerdo con nuestras propias creencias, deseos y valores internos, incluso en un mundo determinado. Mientras que nuestras acciones pueden estar influidas por factores deterministas, aún podemos ser considerados responsables moralmente por nuestras elecciones y acciones. Esta posición compatibilista, sin embargo, se basa en la premisa del conocimiento, de que los individuos son conscientes de los alcances, riesgos y posibilidades de sus opciones.

El problema recae en que, en el caso de los términos y condiciones, existe una asimetría de información entre las empresas y los usuarios. Las empresas tienen un conocimiento detallado sobre los datos que recopilan y cómo los utilizan, mientras que los usuarios no tienen acceso completo o comprensión de esa información. Accedemos a una cesión de derechos y privilegios con consecuencias tangibles e impacto individual y colectivo sin saber que lo estamos haciendo. La noción de libertad de elección al elegir nuestra plataforma de streaming favorita palidece frente al hecho de que creemos optar simplemente por un proveedor de películas, cuando también “aceptamos” brindar información cuyo uso puede tener claras implicancias geopolíticas. A modo de ejemplo, la información recolectada permite a las empresas segmentar audiencias y dirigir anuncios políticos de manera más precisa. Una preocupación relacionada con la venta de información en las elecciones es la posibilidad de que las empresas utilicen técnicas de microsegmentación y publicidad dirigida para influir en el comportamiento de los votantes. Esto plantea interrogantes sobre la transparencia, la manipulación y la equidad en los procesos electorales.

Morozov (2013) critica la mentalidad tecno-solucionista que busca aplicar soluciones tecnológicas a problemas complejos sin considerar las implicaciones éticas, políticas y sociales, lo que puede conducir a enfoques simplistas que no abordan las causas subyacentes de los problemas y que pueden tener consecuencias no deseadas. Respecto a los términos y condiciones, su aceptación implica una restricción del libre albedrío porque, si bien técnicamente tenemos la opción de rechazarlos, en la práctica se nos presenta como una elección binaria: aceptar o renunciar al uso del servicio. Es una elección forzada, ya que la no aceptación implica rehusarse a participar en diversas esferas de la vida moderna. Si Zoom es el medio de comunicación para dar/recibir clases o tener reuniones del trabajo; si tener Netflix es necesario para ver las películas analizadas en la escuela/universidad; si contestar historias de Instagram es la nueva manera de conocer potenciales parejas; si Mercado Pago es el medio de pago más utilizado y Amazon la tienda que reúne los mejores bienes al mejor precio, no aceptar los términos y condiciones implica no aceptar la forma de vida actual y segmentarse de ámbitos estilados como necesarios para la supervivencia.

Frente a esta situación, Schwartz (2005) sostiene que, aunque se cree comúnmente que tener más opciones nos brinda mayor libertad y satisfacción, en realidad, el exceso de opciones puede generar estrés, ansiedad y una sensación de insatisfacción incapacitante. El autor describe el fenómeno "parálisis por análisis", según el cual la abundancia de opciones dificulta la toma de decisiones y nos lleva a sentirnos insatisfechos incluso después de haber elegido. Esto implica la adopción de un sistema de toma de decisiones impulsivo e irreflexivo. Es menos displacentero dejar que otros tomen las decisiones por nosotros, que nos recomienden los servicios a utilizar y que decidan los términos y condiciones, posibilitándonos acceder a los mismos con un solo click.

Recursiones [2]

La serie Joan is awful, en la que se replican los acontecimientos diarios de la protagonista, utiliza una computadora cuántica [3] para producir rápidamente (inmediatamente) la dramatización de los sucesos que a ella le suceden. Joan es retratada por Salma Hayek, pero ella no actuó ninguna escena, sino que firmó un contrato (otro más) en los que cedía los derechos de uso de su imagen. Para añadir aún más niveles y metatextualidad, a la versión de Joan interpretada por Salma Hayek le ocurre exactamente lo mismo, su vida también es reproducida en una serie, en la cual Cate Blanchett la caracteriza.
Al hablar con su abogada sobre la posibilidad de iniciar acciones legales contra Salma Hayek, ella le responde que las escenas son generadas por CGI (Imágenes Generadas por Computadora), por lo que la actriz no protagonizó ninguna de ellas y Streamberry posee la facultad de generar imágenes de ella haciendo cualquier cosa. Esto abre una puerta, una posibilidad de usar a su favor al sistema que la perjudicó.
Consciente de las creencias religiosas de Salma Hayek, Joan idea un plan. Tras ingerir una cantidad insalubre de hamburguesas, las cuales acompañó con una botella de laxante, se vistió de porrista y manejó hasta una iglesia, donde se estaba oficiando una boda. Dentro del edificio, exclamó “¡Feliz navidad para todos!” y dejó que los laxantes hicieran su esperado efecto, generando pavor entre los presentes. En la siguiente escena, vemos a Salma Hayek encolerizada hablando con su abogado sobre lo sucedido en el show, en la cual se mostraron imágenes de ella defecando. Eureka, el plan funcionó.

Tras recibir las mismas explicaciones que Joan recibió de parte de su abogada, Salma decide visitarla para arreglar la situación. En la conversación, Salma le comenta a Joan que quiso hablar con Streamberry para llegar a una solución y le negaron la posibilidad de un dialogo. Confabuladas frente a un enemigo en común, deciden tomar una medida drástica, infiltrarse en las oficinas del servicio de streaming y destruir la computadora que genera la serie.

En las próximas escenas, la historia se bifurca, por un lado, vemos a Salma y Joan buscando la computadora para destruirla y, por el otro, a Mona Javadi, CEO de Streamberry, dando una entrevista sobre su nuevo show estrella, Joan is awful. La entrevista es un recurso para que la audiencia obtenga más información sobre el sistema utilizado para generar este nuevo formato de entretenimiento. En una escena, Fátima, la entrevistadora, le pregunta a Mona por la elección de Joan para la serie, a lo que la CEO responde que eligieron a alguien común y corriente, una don nadie, que les permitiera probar el sistema. Salma y Joan están escuchando, permitiéndonos vislumbrar en el rostro de la segunda cómo se ve interpelada por estas palabras. Este es un primer cuestionamiento a su identidad. No es nadie, una estadística, incapaz de diferenciarse de los demás usuarios promedio de la plataforma.

A lo largo de la entrevista, Mona comenta que el objetivo de Streamberry es estrenar contenido exclusivo, series personalizadas, sobre todos sus usuarios. Al comentar esto, se muestra una pantalla con múltiples miniaturas de programas titulados con el nombre de un usuario seguido de … is Awful (… es horrible). Fátima pregunta por qué la connotación de todas las series es negativa. La respuesta es simple, se testearon alternativas más positivas, cambiando el Awful por Awesome (increíble), pero a los sujetos de prueba no les gustaban. En cambio, al enfocarse en sus momentos de debilidad, enfatizando el egoísmo o la cobardía, esto producía un estado de horror hipnotizante, impidiendo que pudieran dejar de ver sus peores miedos materializados en la pantalla.

Atrapadas en la cinta de Möbius [4]

Finalmente, Salma y Joan encuentran el cuarto de la cuamputadora, la computadora cuántica. En el cuarto, hay un empleado de Streamberry viendo múltiples pantallas con escenas de Joan is awful, en una de las cuales, Joan se ve a sí misma manejando su auto, lo cual es imposible porque en el show la protagonista es Salma, no ella. Al preguntarle al empleado por esta situación, se entera de la terrible verdad. Ella no es la Joan original, Joan cero, sino que es una versión de Joan interpretada por una imagen digital de Annie Murphy (la actriz que la interpreta para Black Mirror). Joan pregunta quién es Annie Murphy, inexistente en este metaverso, a lo que el empleado responde mostrándole imágenes de la actriz (idéntica a ella) en galas de premios. En una palabra, Joan es una persona que vive en el mundo real, quien ve a la actriz Annie Murphy interpretándola en el primer nivel ficticio (donde empieza el capítulo de la serie), mientras que Salma Hayek la interpreta en el segundo nivel ficticio y Cate Blanchett en el tercero.

El plan sigue en pie. Salma y Joan se disponen a romper la computadora. Sin embargo, con el hacha en la mano para culminar el acto, Joan se da cuenta de que su acción implicará la muerte de los personajes del nivel ficticio 2, en el cual Joan tiene la cara de Salma Hayek, quienes consideran ser reales. Inmediatamente, Mona entra en la habitación haciendo una acusación con la misma premisa. Si destruye la computadora, todos los universos creados por la misma dejarían de existir, matando billones de “almas simuladas”. En consecuencia, el universo en el que se encuentran, y sus habitantes, también serían un daño colateral. Joan se da cuenta de algo. Si ella está ahí, en ese momento, significa que antes Joan cero, Joan real, estuvo en la misma situación y los eventos se están repitiendo, por lo que no tiene poder de decisión. Pareciera que ella decida no hacerlo, pero se ve forzada por la Joan original, quien, en la realidad, rompió la cuamputadora, obligando a todas sus versiones a hacer lo mismo. En la escena siguiente, vemos a Joan (cero) y Annie Murphy contentas, destruyeron la máquina que generaba el show, la primera dejará de ver los sucesos de su vida en una serie y la segunda no verá a su imagen digital dramatizando dichos sucesos.

La realidad material nuevamente en jaque

Para el psicoanálisis, la realidad material no alcanza para dar cuenta de la totalidad de los sucesos y procesos que nos afectan como sujetos. El desarrollo de estas nociones supera los objetivos de este escrito, pero en pocas palabras, podríamos afirmar que el énfasis de su estudio está puesto en la realidad psíquica, en la cual, el inconsciente y el lenguaje son protagonistas. En consecuencia, esta disciplina se aleja de las demás, particularmente de la ciencia, en su entendimiento de lo real.

La inteligencia artificial nos ha traído nuevos interrogantes sobre qué es real y sobre cómo podemos discernirlo de aquello que no lo es. Esto genera, al menos, dos problemáticas, las implicancias éticas del uso de I.A. y el carácter ontológico de las creaciones de la I.A., especialmente, aquellas que involucran narrativas y personajes dinámicos, cuya función no está limitada a un producto estático, como, por ejemplo, un corto animado con principio y final.

En cuanto a las implicancias éticas del uso de I.A., una de ellas se relaciona con la primera parte de este escrito al tratarse de la vasta cantidad de datos que requieren las inteligencias artificiales para su entrenamiento y funcionamiento. Esto plantea preocupaciones sobre la privacidad de los individuos y la necesidad de garantizar la protección de datos sensibles. El principal conflicto se da en torno al consentimiento informado, surgiendo dudas sobre la garantía de que los individuos sean informados adecuadamente sobre cómo se recopilan, utilizan y comparten sus datos personales. El hecho de que existan vídeos y audios, en el contexto de la divulgación de entretenimiento en las redes sociales, producidos con inteligencia artificial en los cuales los protagonistas son famosos que desconocen la existencia de los mismos, e, incluso, famosos fallecidos, convierte a las dudas en certezas. No puede asumirse el consentimiento de una persona que falleció antes de que la inteligencia artificial sea un hecho consumado. Los peligros son abundantes al considerar que la posibilidad de distinguir entre un video auténtico y otro producido por IA disminuye día a día. El uso de esta nueva tecnología debería garantizar el anonimato de los individuos de los que obtienen sus datos o, al menos, la pseudonimización, la cual consta de reemplazar o enmascarar ciertos identificadores o atributos con valores ficticios.

Otro conflicto ético refiere al sesgo algorítmico y la discriminación consecuente del mismo. La IA se basa en información, en datos, pero, por sí misma no es aún capaz de dirimir la validez, contexto e imparcialidad de los mismos. Es por esto, que el material recolectado incluye datos históricos que reflejan desigualdades existentes y prejuicios. El sesgo se instala cuando los algoritmos sistemáticamente favorecen o perjudican a ciertos grupos de personas debido a factores como la etnia, el género, la edad, la orientación sexual, etcétera. Esto puede perpetuar y amplificar las desigualdades y la discriminación presentes en la sociedad, las cuales son interpretadas como un hecho, como información, al mismo nivel que procesa que la fórmula química del agua es H2O. Por ejemplo, el uso de algoritmos de IA en sistemas de selección de candidatos para empleo podría incluir datos de contrataciones previas en las que ningún empleado de una etnia o género determinado fue contratado, llevando a que el programa considere que esa es la norma y excluya individuos con esas características.

En cuanto a la responsabilidad, nos encontramos frente a un área gris. A medida que la IA adquiere mayor autonomía (se han programado softwares capaces de programar) y capacidad para tomar decisiones por sí misma, surge la pregunta sobre quién es responsable en caso de errores, daños o decisiones éticas cuestionables. Si el científico A programa un sistema capaz de realizar X cantidad de tareas con Y nivel de complejidad y ese programa por su mera ejecución y capacidad de aprendizaje logra realizar X5 cantidad de tareas con Y6 nivel de complejidad ¿Las consecuencias de los resultados del programa son responsabilidad del investigador? [5] En estos casos, es importante considerar la transparencia de los mecanismos utilizados. Es decir, la capacidad de comprender y explicar cómo los algoritmos de IA toman decisiones y llegan a sus resultados. Es importante que los procesos sean comprensibles para los seres humanos, especialmente para aquellos afectados por dichas decisiones. Se debe poder aplicar ingeniería inversa para determinar cómo se llegó al resultado cuestionable. Si los algoritmos son poco claros no se podrá establecer que una decisión que incluya un sesgo discriminatorio, por ejemplo, fue un error del programa o una acción deliberada del programador.

Otro riesgo, mencionado brevemente en la primera parte de este trabajo, recae en las posibilidades de influencia y manipulación. La IA puede ser utilizada para influir y manipular la información y la toma de decisiones, los alcances de este fenómeno son particularmente notables en áreas como la propaganda, las noticias falsas y la manipulación de la opinión pública. Los algoritmos de IA pueden analizar patrones y preferencias de los usuarios en las redes sociales y utilizar esa información para personalizar y dirigir mensajes que influyan en las opiniones y comportamientos de las personas. Los generadores de texto basados en IA son capaces de generar contenido que se asemeja a noticias reales, lo que dificulta la detección de información falsa, esto plantea preocupaciones en cuanto a la confianza pública y la capacidad de discernimiento de la información verídica. Asimismo, la IA puede influir en la opinión pública al manipular algoritmos y mostrar contenido sesgado que respalde ciertas perspectivas o intereses a través de sistemas de recomendación que generan "burbujas de filtro", donde los usuarios solo se exponen a información que confirma sus propias creencias y opiniones (sesgo de confirmación).

Ser o no ser: esa es la cuestión

El consenso científico no es definitivo sobre la posibilidad de que una IA adquiera consciencia y, así lo fuera, el consenso actual responde a un paradigma que en el futuro podría no imperar. De ser posible, ¿cuál sería su estatuto de realidad? ¿Qué tipo de crédito merecería?

Una posición podría argumentar que la presunción de consciencia por parte de la IA puede no ser de carácter ontológico, sino procedimental. Es decir, no implicaría una consciencia real, sino un método de organización de la información y presentación de la misma en torno a una supuesta identidad. Joan solo sería el resultado de un entrelazamiento de cómputos y algoritmos, un producto cerrado totalmente determinado, incapaz de generar pensamientos o emociones propios o de tomar rumbos de acción no guionados. La mismísima conclusión de que es un producto digital, más unos y ceros que carne y hueso, sería un input incluido en su diseño. Esto implicaría que esta farsa, esa fachada de identidad, sea un avance científico-tecnológico al servicio, en este caso, del entretenimiento y, en otras aplicaciones, de la investigación.

La creación de una síntesis del entrelazamiento de cantidades abismales de información sobre el comportamiento humano bajo la forma de un programa que afirma tener identidad nos permitiría estudiar una imagen, un arquetipo, de cómo puede apreciarse la humanidad a través de sus registros (escritos, gráficos y audiovisuales). Siguiendo a Kletnicki (2000), es plausible asumir que este avance científico-tecnológico podría constituirse en una transformación de lo simbólico al permitirnos apreciar cómo pueden leerse nuestros registros históricos, toda la información relativa a nuestra historia como especie disponible en internet y otras bases de datos, desde nuestra propia óptica, entendiendo que el método de interpretación de la IA con pretensiones de consciencia se desprende del análisis de métodos de interpretación humanos.

Caso contrario, si las pretensiones de adquisición de consciencia no fueran pretensiones, si Joan realmente fuese consciente, estaríamos frente a la transformación del núcleo real, trasgrediendo la propia definición de la especie humana. Una creación humana habría adquirido consciencia, desafiando la hegemonía de su presencia en nuestra especie [6]. De esta manera, el avance científico desconocería las determinaciones estructurales que constituyen al ser humano, disociando la subjetividad del desarrollo del conocimiento y, en consecuencia, generando un empobrecimiento de lo subjetivo. Los desarrollos científicos son siempre más rápidos que sus posibilidades de ser simbolizados, de ser integrados por el sujeto. Los miembros de esta comunidad son conscientes de este fenómeno y no son pocos quienes se han manifestado en contra de los avances acelerados y carentes de controles claros de la IA.

Referencias:

Anders, G. (1975). Tesis para la era atómica. Estudios Latinoamericanos, (44), 171-184.

Bostrom, N., & Yudkowsky, E. (2018). The ethics of artificial intelligence. In Artificial intelligence safety and security (pp. 57-69). Chapman and Hall/CRC.

Dennett, D. C. (2004). Freedom evolves. Penguin UK.

Morozov, E. (2013). To save everything, click here: The folly of technological solutionism. Public Affairs.

Gutiérrez, C., & Montesano, H. (2008). Farsa y ficción. Usurpación y paternidad en la constitución subjetiva. Aesthethika, Revista Internacional de estudio e investigación interdisciplinaria sobre subjetividad política y arte, 5-10.

Kletnicki, A (2000) Un deseo que no sea anónimo. Tecnologías reproductivas: transformación de lo simbólico y afectación del núcleo real. En: La encrucijada de la filiación. Buenos Aires: Lumen.

Schwartz, B. (2004). The Paradox Of Choice: Why More Is Less. Ecco Press.

Ugarte, R. A. (2022) Qué pasa cuando aceptás los términos y condiciones en internet. Chequeado. Disponible en: https://chequeado.com/el-explicador/si-estas-de-acuerdo-clickea-aqui/

NOTAS

FORUM

• 1
• 2

"Asimismo, la IA puede influir en la opinión pública al manipular algoritmos y mostrar contenido sesgado que respalde ciertas perspectivas o intereses a través de sistemas de recomendación que generan "burbujas de filtro", donde los usuarios solo se exponen a información que confirma sus propias creencias y opiniones (sesgo de confirmación)."

Este es un extracto de este excelente trabajo sobre el tema de la IA, lo ético, las redes, y el poder (anónimo) que nos brujula... (Me tomo la licencia de ubicar un verbo a partir de un sustantivo, por lo pertinente que es hablar aquí de quién o qué guía nuestras vidas).
Lo tomé porque el punto de asignar a un Otro el saber sobre mi persona, y de manera absoluta, está enmascarado de tal manera que no nos damos cuenta de que es "información" suministrada de nuestras "creencias y opiniones" la que se nos devuelve. ¡Ni qué hablar cuando, por ejemplo, preguntamos a una computadora sobre si debemos seguir viviendo o no...! ¿El efecto de la respuesta puede ser el suicidio o la matanza?! O cuando pensamos en las decisiones de los que manejan, con IA, los aviones drones para enviar misiles, o no, a determinada región del planeta. Hoy: es algo de todos los días; y no sólo de los films o las series...
Por otro lado, -y los comentarios podrían ser largos, pues el trabajo es extenso e intenso, y muy bien organizado-, se agradece la especificación de los términos usados: como el de recursividad o la diferencia entre computadoras cuánticas y las tradicionales. Pues no sabemos lo específico de cada campo de estudio, investigación, praxis. Esto es muy ético, diría, de parte de la autoría de este artículo.

También las notas y referencias, acotadas y mejor orientadas, que nos permiten seguir la lectura y ampliar, si lo deseamos, a otras.

Felicito a Genovecio Lucía, Nicolás por la producción compartida. La que tendré en cuenta, dando referencias y nombre de autor, a la hora de hablar y/o escribir sobre el tema.

Desde ya, ¡muchas gracias!!
Un cordial Sdo.

Excelente artículo.
Pienso ¿hasta donde estariamos dispuestos a ceder nuestros datos en pos de lograr cosas personalizadas?, siendo que la adecuación de un objeto a la singularidad subjetiva de las personas es un bien socialmente valorado
Con lo supraliminal incluido de manera conciente ¿ Hasta donde estariamos dispuestos a llegar? ¿Tenemos limites? ¿Podemos ponernos límites nosotros mismos?

El comentario del capítulo de Black Mirror es interesante y acertado. También se puede considerar el tema del doble, en este caso la protagonista padece de que alguien represente su vida, las cuestiones se le presentan en su interacción con la gente cercana, su trabajo donde la despiden, y los problemas con su círculo de personas, se va complicando a medida que avanza la supuesta historia de Joan. Entonces, se puede pensar que el tema del doble, se le termina volviendo ominoso, y casi como un cuento terrorífico donde ella se ve a si misma representada por el personaje principal de la serie, sufriendo esta situación incómoda y que la hace quedar mal, queriendo que todo eso se termine de una vez. La metafora de la Bande de Moebius también es adecuada, como ella mirándose a si misma en la tele, tal como la Banda que no tiene faz ni enves.

El presente trabajo, Subjetividad y autonomía frente al avance de la I.A., realizado por Genovecio Lucía, Nicolás, en base a un capítulo de la serie “Black mirror”, Joan is awful (Joan es horrible), nos atraviesa desde distintas aristas. El punto de inflexión al que la tecnología nos arroja ( y al cual, la mayoría nos arrojamos), nos expone de diferentes maneras.
La articulación del autor con el concepto “supraliminal acuñado por Günther Anders (1975), el cual refiere a fenómenos tan grandes que no podemos verlos ni imaginarlos”, hace al despliegue de su trabajo y análisis. En ese no tomar dimensión (por no ser visto o imaginar), de los impactos y repercusiones que puede tener (y está teniendo), la I.A en las vidas de los que se implican con ella, como en las de los que no. Me detengo en el punto de la libertad, que hace trama (y trampa), en las tecnologías y aplicaciones que emergen, tanto en las pagas, como en las “gratis”. Y surge la pregunta, cómo una película que ya empezó: ¿La libertad está en picada?, pareciera que en un pedazo de pantalla que dice “aceptar términos y condiciones”, en letra chica del “espejo negro” y escondida entre ceros y unos, nos la digitaliza. La libertad cedida de a partes, en capítulos, que se nos va por internet y a alta velocidad. Parte, mucha, o demasiada de nuestra información y lo que hace a nuestras vidas, está a disposición cuando usamos los aparatos tecnológicos y cuando no. Como plantea el artículo, hay fuerzas y tensiones en juego de quedar o no por fuera de las tecnologías, un nuevo “ser o no ser”, que nos incluye en virtualidades con aire de realidad o nos expulsa a vidas sin codificar, sin registrar en redes, ser parias tecnológicos.
El capítulo de la serie, plantea una batalla, dentro de otra que se muestra en una plataforma que a su vez, es atravesada por la temática, una Mamushka de realidades Tecno-paradójica.

Joan is Awful:

Posición ética del uso de la tecnología, manipulación y transformaciones de la realidad subjetiva del sujeto posmoderno.

Más allá de lo expuesto en el artículo de Nicolás Genovesio Lucía respecto de los peligros del uso de la IA y los dilemas éticos que esta produce. Voy a adentrarme en la ficción para otra ficción que nos muestra el capítulo de la serie.
Desde un enfoque institucional podemos pensar la realidad material en la que vivimos como generadora y reproductora de subjetividad. Entonces cabe preguntarnos, qué nos dice un capítulo que trata sobre vendernos contenido de entretenimiento personalizado para cada sujeto en particular. Por qué necesitaríamos que la IA produzca contenido específico para cada uno de nosotros? Cómo afectaría en lo social?. Para poder explicarme mejor voy a citar a Alma Barbosa Sánchez en su artículo "El arquetipo mítico de Narciso en la cultura posmoderna" en la que menciona:
[..] De igual manera, el narcisismo posmoderno ejemplifica que la mismidad y la otredad se contradicen cuando el individuo se desentiende de la interacción social, que constituye su alteridad o el otro yo colectivo, el cual opera como un referente primordial en la comprensión de su identidad y circunstancias. Sin embargo, este alejamiento de la comunidad de la cual es miembro es inducido por las tecnologías audiovisuales de información masiva, que intervienen en la subjetividad colectiva mediante un imaginario social que estimula y socializa el repliegue hacia el universo individual, abastecido por las gratificaciones consumistas y hedonistas que promete el mercado.
Estas tecnologías audiovisuales proporcionan el
escenario de un hecho tanto inédito como insólito: el exhibicionismo de la vida “privada” en las “redes sociales” y pantallas del mundo virtual; “existe incluso una dirección electrónica: ego.surf.org, que
promete calcular el ‘ego ranking’”. El narcisismo posmoderno también es exhibicionista como se advierte en los reality show que convierten en espec-
táculo la realidad televisada; o en las publicaciones periódicas, donde los potentados exhiben su gran acumulación de riqueza, así como sus “eventos”
y crisis personales. El embeleso de los individuos ante el espejismo de la aparente realidad que les proporcionan los medios de difusión masiva, fundamenta la alienación de la mismidad y su incapacidad para comprender su problemática a partir de su interacción con la colectividad.
Pero las consecuencias sociales son mayormente impactantes, en el caso del narcisismo que asume el poder económico y político. A través del
Estado moderno se impone unilateralmente un proyecto de desarrollo histórico que se fundamenta en la homogeneización globalizadora y la eliminación o exclusión de la otredad, esto es, la diversidad de
individuos, pueblos y culturas; de ahí que se apliquen políticas de segregación o exclusión que han sido justificadas, incluso por algunas perspectivas científicas, mediante argumentos alienadamente racionales. [...].
No voy a profundizar demasiado en esta cita, solo voy a remarcar el interés que puede despertar en la clínica este narcisismo generalizado en los individuos. A lo largo del capítulo de la serie Joan se siente mortificada porque la serie la representa como la villana de su propio show, la hace quedar fría con sus compañeros de trabajo y como una pareja infiel. Joan pudo dejar de mirar la serie e intentar arreglar su relación, pedirle disculpas a la empleada que tuvo que echar pero no. Podríamos pensar que en ese momento lo fundamental es que su vida se dejará de exponer, pero otra interpretación posible es que a Joan lo que más le molestó fue la imagen negativa que reproducía, no solo para los demás sino para si misma. La búsqueda de cancelar la serie fue un intento de autoaliernarse frente a la exposición de sus defectos. Joan aseguraba no sentirse protagonista de su propia vida, y hablamos de una persona del siglo XXI que utiliza las redes sociales. En mayor o menor medida todos subimos nuestra mejores fotos, estamos pendientes de la cantidad de "likes" recibidos y, ni hablar de la preocupación de los jóvenes de hoy por la cantidad de seguidores en cada red. En una sociedad con sujetos así no es de extrañar que la tecnología y la IA sea utilizada para satisfacer el ego de cada uno de sus usuarios. Así se reactiva el consumo del sistema. Existe realmente un otro colectivo para el individuo narcisista de la época y, si es así qué importancia tiene realmente el otro en la construcción de subjetividad del sujeto de nuestra era.
Estos nuevos interrogantes pueden ser dilucidados en la clínica, pero desde ya que es un tema a seguir investigando en psicología.

A partir del escrito sobre ¨Joan is awful¨ que corresponde a un capítulo de la serie Black Mirror donde se trata el tema del avance de las I.A. se dispara la pregunta sobre el efecto en el sujeto y su subjetividad. Como se puede observar la primera reacción de Joan al ver un día de su vida retratado en la pantalla fue de pánico. Esto podría llevarnos a pensar en la producción en este primer momento de una ruptura de la realidad momentánea que es provocada por el encuentro de un real, un agujero que en primera instancia es imposible de simbolizar.
En consonancia, se puede ubicar aquello que Freud refería en torno a lo siniestro o inquietante y que posteriormente sería tomado por la robótica para desplegar el concepto de valle inquietante. Para Joan ver su vida replicada en la pantalla por una I.A., con todos los detalles y acontecimientos de su día, si bien no era su rostro, puede haber tenido el mismo efecto aterrador que estar parada frente a un espejo y ver su reflejo realizando movimientos y tareas que ella no está haciendo en la realidad. La presencia de un cuerpo que está disociado con su yo como aquello que no puede ponerse en palabras, incapaz de simbolizarse que podría plantearse en el sujeto como aquello inconsciente que se presentifica y provoca que en la imposibilidad de su tramitación se produzca un desprendimiento de angustia. En un segundo momento se puede ubicar que Joan puede significar esta situación e introducirla en el registro simbólico al entender que la puesta en escena de vida es reproducida por una I.A. a partir de los permisos que ella dio a su privacidad, lo que produce la cancelación de la angustia y da lugar a otra respuesta psíquica.

Es estremecedor cada capítulo de esta serie, ya no tan distópica, la inteligencia artificial en los años 80’s o antes, que era representada por Skynet en la saga Terminator, o Colossus, Blade Runner y hasta en Cortocircuito (ese robotito tan sensible), se la percibía realmente lejana e imposible de alcanzar. La historia de Joan es tan actual y tan cercana que provoca miedo. Tal como desarrolla Genovecio Lucía, autor de este trabajo, el mecanismo legal(?) de las plataformas y las app´s para el acceso a las mismas y su utilización por medio de los “términos y condiciones” busca que el usuario no tenga acceso a la información y sobre todo a los derechos que se están cediendo, tal como muestra el capítulo de Black Mirror en cuestión,con la imagen de la protagonista y su vida cotidiana que al hacer un click para acceder a la plataforma ha cedido todo derecho a reclamar lo que se hagan con estos. Quienes abordamos el universo de lo psi entendemos o estamos enterados de que la dimensión yoica o el yo se construye a partir del otro o los otros (en el registro de lo imaginario) sostenido desde lo simbólico articulando de manera borromea, también lo real. Lo real aquí no coincide con la realidad efectiva y comúnmente mencionada como algo externo al individuo, lo concreto donde se realizan los hechos y donde transcurren, sino como uno de los tres registros de lo psíquico como supo plantear Jacques Lacán en su enseñanza. Y como también supo exponer que en esta construcción lo simbólico lo representa el gran Otro, poseedor de todos los significantes, instancia portadora de la ley que bien podría, en el capítulo (y en la vida real y cotidiana de cada uno de los usuarios, por eso tan escalofriante) ser los “terminos y condiciones” pero sólo si fuesen leídos y aprendidos y analizados, decidiendo sobre las posibles consecuencias una vez aceptados, pero aquí se vuelven un real que irrumpe generando un vacilación en ese yo de la protagonista que, al transcurrir de la pieza nos enteramos que no era tal, sino una copia o una representación de la verdadera Joan. ¿Y entonces cómo ocurre que ella y la actriz Salma Hayek se vieron conmocionadas, presas de estados de angustia, ira y, hasta de sentir empatía. ¿Puede la IA construir un yo? La pregunta que me surge a medida que escribo este comentario es sobre la “autonomía” de la que habla el autor en el estudio “Sostiene que el libre albedrío y la determinación son compatibles entre sí, y plantea que la libertad puede ser entendida en términos de la capacidad de actuar de acuerdo con nuestras propias creencias, deseos y valores internos, incluso en un mundo determinado.” ¿Si el yo es construido a partir de otro, somos realmente autónomos o estamos determinados por el otro y sobretodo, por un Otro? Y suponiendo que esta cesión de derechos (para poder satisfacer esta necesidad de pertenecer a diferentes grupos sociales, por mecanismos de identificación y no tener que renunciar a la vida cotidiana actual) por medio un click y conociendo que la IA se trata de un sistema que aprende continuamente y estamos en la discusión (o a la espera de que ocurra por fin) de la subjetivación de la máquina y su autonomía (tal como en el ser humano) ¿Será capaz la IA de sortear esa dependencia de la construcción yoica o terminará también aceptando términos y condiciones que la lleven a su autodestrucción?

El artículo relata sobre el episodio “Joan es Horrible” de la serie “Black Mirror” de Netflix. En la serie, la protagonista se enfrenta a la revelación de que su vida está siendo grabada y se emite en una serie de televisión, según Joan, sin su consentimiento. Dicho programa, se emite al mismo momento que le ocurre a la protagonista mediante Inteligencia Artificial. Sin embargo, ella firmó los términos y condiciones cuando se suscribió a un servicio de streaming llamado “Streamberry”.
A lo largo del escrito, se pone de manifiesto cómo las personas aceptan los términos y condiciones en diversas plataformas digitales sin siquiera leerlos y nadie se preocupa por ello. Lo perciben como un requisito a cumplir, pero no como un contrato que están firmando acerca de la privacidad y sus derechos. Asimismo, dichos términos y condiciones evolucionan con frecuencia, lo que genera que los usuarios no estén al tanto de los cambios e implicaciones, además de la complejidad que pueden llegar a tener y lo extensos que en general son. No obstante, ¿nos interesa saber el detalle de esos cambios? ¿los leemos como usuarios? ¿o los tomamos como un paso extra obligatorio? De ser así, el libre albedrío sobre “aceptar” o “rechazar” los términos y condiciones, lleva a reflexionar si realmente existe esa voluntad propia que cada uno tiene en ese momento, dado que las personas por querer pertenecer o acceder a determinada información moderna, no lo cuestionan y terminan aceptando algo que no saben qué es. Es decir, si bien toman su propia decisión, lo hacen como una conducta ya pre-establecida a la que tienen que amoldarse los mismos usuarios para pertenecer.
Ahora bien, la IA en la serie puede crear versiones digitales de las personas, de Joan y su entorno, que son percibidas como reales, entonces, cabe preguntarnos ¿Cómo percibimos y construimos la realidad? ¿y cómo esto puede influir en nuestras emociones? aún cuando pareciera ser algo “ficticio”. Además, dicha versión de Joan en la serie es alterada y desvirtúa la realidad de la joven, lo que influye en la autoestima de ella, sus relaciones y en el cuidado que tiene de su imagen. También, la actriz que la interpreta, no se siente a gusto con lo que se está reflejando de sí misma, aunque sea un personaje.
Finalmente, el capítulo presta a la reflexión sobre el uso de la tecnología, la representación digital y cómo su interacción con la IA podría afectar la percepción de la realidad, las relaciones sociales, la toma de decisiones y hasta la salud mental de las personas.

Este capítulo de Black Mirror permite una lectura de múltiples aristas, resulta interesante en primer lugar el abordaje que se realiza de las I.A presentes cada vez más en la vida de las personas impactando en la subjetividad de la época, y en segundo lugar, la relación desigual del manejo de información entre usuarios y las diferentes plataformas.
En este sentido la propuesta del libre albedrio apoyada en la premisa de que los individuos son conscientes de los alcances, riesgos y posibilidades de sus opciones pone en evidencia que no hay tal libertad para Joan. Cabe preguntarse entonces, si hubiera sabido que su intimidad seria expuesta ¿su proceder hubiera sido el mismo? parecería que lo que la angustia no es haber despedido a una compañera sino la mirada acusatoria de los otros, mirada que desconocía y le es devuelta a través del recurso de la puesta en abismo.Los ataques de pánico son un modo de tramitar la mirada de los otros pero también lo ominoso del encuentro con ese otro yo, que al mismo tiempo es y no es.
Otro aspecto interesante que se muestra es como la lógica capitalista exige un nivel de competencia entre los individuos, posicionando al otro desde lo imaginario como un rival. Esta lógica lleva a la búsqueda de la satisfacción libidinal en objetos y a la pérdida del lazo social. El mismo sistema que empuja a esta dinámica condena al sujeto entrampándolo en un circuito del que siempre sale perdiendo.

"Black Mirror" es una serie que explora de manera psicológica y provocativa las implicaciones de la tecnología en la sociedad moderna. Cada episodio presenta una historia independiente que analiza los efectos psicológicos y emocionales de la dependencia tecnológica, la privacidad, el aislamiento y la deshumanización. La serie invita al público a reflexionar sobre cómo nuestras interacciones con la tecnología pueden afectar nuestra identidad, relaciones y bienestar mental. Además, "Black Mirror" a menudo plantea cuestionamientos éticos y morales relacionados con la manipulación de la mente, la realidad virtual y el control social, lo que lleva a los espectadores a considerar las implicaciones psicológicas de vivir en una era tecnológicamente avanzada.