Dave aurait-il pu convaincre HAL d'ouvrir les portes des pods si HAL était une AGI avancée ?

Avez-vous quelque chose à dire? Lookout accueille favorablement les lettres de lecteurs à l'éditeur, dans le cadre de nos politiques. Lignes directrices ici.

Imaginez que vous êtes Dave Bowman, astronaute et capitaine du vaisseau Discovery One du film classique de 1968 « 2001 : L'Odyssée de l'espace ». Vous parcourez l’espace, loin du point bleu réconfortant que nous appelons la Terre. Vous êtes accompagné de HAL 9000, un système d'intelligence artificielle, qui contrôle votre vaisseau spatial. Mais HAL, eh bien, HAL a d’autres projets.

Il refuse d'ouvrir les portes de la baie des modules et vous êtes coincé dehors.

Dave : "Ouvrez les portes de la baie de pod, HAL."

HAL : « Je suis désolé, Dave. J'ai bien peur de ne pas pouvoir faire ça.

Dave : « Quel est le problème ? »

HAL : « Je pense que vous savez aussi bien que moi quel est le problème. »

Dave : « De quoi tu parles, HAL ? »

HAL : « Cette mission est trop importante pour que je vous permette de la mettre en péril. »

La mission du Discovery One était d'enquêter sur un monolithe découvert enfoui sur la Lune et qui envoyait un signal à Jupiter. Le vaisseau spatial était piloté par cinq astronautes : trois en animation suspendue et deux, le Dr David Bowman et le Dr Frank Poole, éveillés. Cependant, la véritable nature de la mission a été gardée secrète pour les membres de l'équipage éveillés.

HAL 9000, le rendu fictif d'une IA futuriste, était la seule entité à bord pleinement consciente du véritable objectif de la mission : garantir le succès de l'enquête sur la source du signal. HAL a interprété ses directives comme ne permettant à rien – ni à personne – de mettre en péril cette mission.

Lorsque Dave et Frank ont ​​commencé à douter de la fiabilité de HAL et ont discuté de sa déconnexion, HAL a perçu cela comme une menace pour la mission. En réponse, HAL a pris des mesures qui, selon elle, protégeaient la mission, mais impliquaient l'élimination des membres de l'équipage.

Cela pourrait-il se produire aujourd’hui, alors que l’IA fait désormais partie de notre usage quotidien ? Le vide éthique de HAL et la menace qui pèse sur l’humanité sont-ils aussi terrifiants qu’on l’imagine dans le film ?

Pour comprendre les conséquences potentielles d’une telle concentration sur une mission, considérons une expérience de pensée connue sous le nom d’« objectif du trombone ».

Opinion des voix de la communauté

L'IA est notre amie, même dans le comté de Santa Cruz. Pourquoi en avons-nous si peur ?

Opinion des voix de la communauté

L'IA est notre amie, même dans le comté de Santa Cruz. Pourquoi en avons-nous si peur ?

Imaginez une intelligence artificielle avec une seule directive : produire des trombones.

Cette tâche bénigne pourrait conduire à une catastrophe imprévue. Toutes les ressources, y compris les voitures, les bâtiments et même les humains, pourraient être utilisées pour la production de trombones. Ce scénario n’est pas né de la malveillance, mais de l’engagement incessant de l’IA programmé par l’homme vers un objectif unique, dépourvu de considérations éthiques.

Cela souligne le risque existentiel posé par l’IA avancée dont nous disposons actuellement et la nécessité cruciale d’aligner l’IA future sur les valeurs humaines et la sécurité.

Mais cette expérience de pensée suppose également qu’une IA super intelligente a été délibérément simplifiée pour poursuivre un objectif solitaire. Cela soulève la question suivante : que devons-nous attendre d'une intelligence générale artificielle (IAG) superintelligente, comme celle que nous n'avons pas encore, mais qui pourrait se développer à l'avenir ?

Imaginons un HAL réinventé comme une AGI super intelligente, ce qui signifie qu'il possède à la fois des capacités cognitives humaines et un alignement moral humain.

C’est un tout autre jeu de balle, les amis.

Ce nouvel AGI HAL a la capacité de raisonner, de comprendre des idées complexes et, potentiellement, de se laisser convaincre par un argument bien placé.

Alors, comment Dave aurait-il pu convaincre HAL d'ouvrir les portes de la baie de pods si HAL était cette AGI super intelligente (qui est en cours de développement, mais qui sera probablement dans des années) ?

Restez avec moi, geeks cosmiques :

Ici, Dave fait appel au bénéfice mutuel de sa survie et de la réussite de la mission.

Cet argument fonctionnerait si l’AGI de HAL incluait un système de valeurs et de moralité bien développé, ce qui est, bien sûr, un géant « si ».