Commentaires : Pour éviter que les robots fassent des erreurs dangereuses, doit-on intégrer des contraintes dans leur code source ?

robotique
science-fiction
Intelligence artificielle
Tags: #<Tag:0x00007f920b120ee0> #<Tag:0x00007f920b120d78> #<Tag:0x00007f920b120c38>

#1

Les robots sont souvent conçus pour nous ressembler physiquement. Certains ingénieurs espèrent même leur conférer des formes d’émotions, si ce n’est un instinct de survie. Mais qu’en est-il de la sécurité des êtres humains face à ce développement de l’intelligence artificielle ? Dans un futur où elles feraient partie de notre quotidien, ce sujet serait primordial. C’est justement l’objet d’une publication parue dans Science en novembre 2019. Une équipe de chercheurs américains propose un système qui permettrait d’inscrire des notions de….

Par Marcus Dupont-Besnard
Revenir à l’article


#2

Heu, si le robot il fait des erreurs, c’est qu’il a été mal programmé, c’est dingue comment ont veux faire croire aux gens qu’une IA va évoluer toute seule… c’est le fait de ceux qui les construisent, tout simplement.


#3

C’est pas plus simple de dire au robot ce qu’il doit faire ?
Au lieu de le laisser faire ses propres choix ?


#4

« Quand quelqu’un applique un algorithme de machine learning, c’est difficile de contrôler son comportement »

Rassurant.


#5

pas du tout… tu en es resté aux programmes sequentiels qu’un humain a tapé avec ses petites doigts…
une IA n’est pas un programme sequentiel, tu ne peux pas décrire par étapes ce qu’elle va donner comme résultat.

Et oui elle va évoluer toute seule, c’est même l’interet des IA…

sinon ton truc ça s’appelle juste un système expert, c’est vieux de 60 ans au moins.


#6

Sauf lancer un programme sans avoir avant conscience de ce qui peut se produire (surtout dans un environnement / usage qui peut se révéler dangereux), c’est bien ceux qui le mettent en place qui engagent leur responsabilité.

Le pifomètre “je sais pas ce que ça va donner”, c’est bien dans certains cadres particulières (recherche, certaines analyses, etc… et c’est même pour ça que c’est utiliser). Par contre en usage “courant” pour exécuter des taches de tous les jours, domestiques, industrielles, commerciales, médicales, en relation avec les hommes, etc… bah non, tu te limites à des programmes dont le comportement est parfaitement prévisible

Si t’es pas capable de le faire, bah tu fais pas, sauf à accepter d’en supporter les conséquences

De plus, on retombe dans le “mythe” de l’informatique = magie: la logiciel va tout corriger par magie ! (y compris lui même)


#7

Si cela te fais plaisir d’y croire, fonce :slight_smile:


#8

c’est dommage que tu passes à côté du sujet.

c’est pas une question d’y croire, j’en ai écrit de tels programmes et je t’assure que ça évolue tout seul, c’est même la difficulté du truc sinon ce serait un bête organigramme.

Ouvre quelques bouquins d’info niveau Master…


#9

là on aborde la question de la responsabilité… je suis pas juriste, je laisse ça à quelques philosophes…

oui.

le souci est que c’est pas tranché nettement…

typiquement on fabrique à l’université un robot qui apprend à faire tenir en equilibre un Bic sur la pointe.
Au debut de la journée, il sait pas le faire… à la fin il a apprit sans qu’un humain change le code.

c’est de l’AI, mais la tache est très basique.

typiquement aussi, la voiture autonome c’est bourré d’IA et pourtant ta vie est en jeu.


#10

L’humain a fait un code pour lui dire comment apprendre, et c’est ce que fait le robot. Il a pas “appris par lui même”, .

Croire qu’il a apprit sans l’humain, c’est perdre de vue l’objectif du code qui a été développé, qui n’était pas de dire comment tenir un crayon… mais de dire comment apprendre à le faire.

Y’a aucune “IA” dans les voitures actuelles (mêmes celles vendues comme autonomes qui en sont pas)


#11

tout comme toi, ton ADN de base te dit comment apprendre… ça n’invalide pas que tu es classé dans
les systèmes intelligents.

le code n’est pas public, tu n’en sais rien du tout.


#12

Dans l’état actuel des connaissances, absolument rien ne nous montre que l’ADN est l’équivalent d’un code informatique et l’être humain une “machine” qui se contente de l’appliquer.

Aucun rapport entre les 2


#13

tu plaisantes ?

réplication, division cellulaire, mutation… le génome est même totalement séquencé et on sait te faire une peau jaune fluo, si on veut.

c’est ce programme de base qui te permet de respirer, cicatriser, retenir ton souffle sous l’eau, avoir peur du vide, etc… de manière à faire fonctionner le système neuronal pour apprendre des trucs et aller sur la Lune.

gni ?

c’est uniquement avec le code source que tu peux savoir si il y a de l’IA ou si c’est un simple organigrame.

Et justement il y a un article aujourd’hui qui parle de l’IA neuronale des tesla pour déclencher les essuie-glace, donc voilà tu as ta réponse… y’en a.


#14

Rien à voir avec la conscience / intelligence / apprentissage.
Ta peau jaune fluo, c’est un amas de cellule (vivante), mais pas doué de conscience et d’intelligence

La vision fataliste “on est programmé par notre ADN / on est un robot biologique”, ça fait un moment qu’elle a été mise à terre hein… Ca a un impact sur des prédispositions, des facilités, etc… à . Mais on est actuellement incapable de dire exactement comment fonctionne chacun de ce coté, et surtout, on sait très bien que l’individu se limite pas à être esclave de son ADN. Des jumeaux, parfaitement identiquement au niveau ADN, ne seront à égalité pour autant/

Les IA au sens stricts existent tout simplement pas d’un point de vue technique actuellement
C’est soit du discours marketing (quand on te vend un IA pour les essuie glace tesla), soit une personne qui confond IA et logiciel / algo car a un niveau assez bas, soit, techniquement, des gens qui bossent dans le développement de l’IA. Mais personne de crédible n’ose dire qu’il a créé une véritable IA et encore moins commercialisé auprès du grand public…

Accessoirement, la notion d’apprentissage / correction automatique des traitements est très loin de suffir pour décrire une IA. C’est une des fonctionnalités nécessaires, mais clairement pas suffisante (le GPS qui mesure que tel trajet et en faite plus rapide et met à jour sa navigation n’est pas une IA, c’est du bete logiciel / algo tout ce qu’il a de plus classique)

Les voitures (même celles de “bases”) sont bardées de capteurs en tout genre et d’électronique, tests, contrôles, etc… mais on est TRES loin d’avoir la moindre notion d’IA à l’intérieur Le comportement a avoir est clairement programmé, et identique pour chaque modèle avec le même logiciel.,


#15

personne ne dit ça ! relis les echanges, l’ADN programme le fonctionne de base de l’humain et ENSUITE
il apprend et develloppe son cerveau par apprentissage (les 5 sens) toute sa vie… et ce dernier point n’est pas reproductible ni predictible.

c’est exactement comme une IA, tu as le code source de départ de fonctionnement d’un neurone software et ensuite l’apprentissage de l’IA on ne la maitrise pas.

bien sur que si, car au sens strict, la notion d’intelligence n’est pas définie… donc ça règle la question.

oui mais aucun apprentissage là-dedans… ne pas confondre maj d’un fichier et apprentissage.

c’est simple, on regarde le code source, s’il y a des neurones software ou pas.
s’il y en 100 en réseau, c’est un exercice de démo… s’il y en a 1 million ou des dizaines de millions, ben c’est une IA…

on vient d’avoir la preuve du contraire avec le detecteur de pluie de la Tesla… lis l’article.

apprentissage par des millions d’images de pluie pour qu’un reseau de neurones reconnaisse la pluie et sa force… et probablement apprentissage pas stoppé à la remise au client, mais continuelle pendant qu’elle roule. Une Tesla reconnait mieux la pluie au bout de 50 000 km qu’avec 50 km au compteur.


#16

Actuellement, absolument rien de nous permet de dire qu’on est programmé entièrement par notre ADN, contrairement à un logiciel par son code.

Même si il est difficile d’en avoir une définition précise, y’a quelques élements assez consensuels, comme par exemple la capacité de comprendre par soi même (ce qui n’est pas le cas d’un logiciel qui dépend de la programmation de ces développeurs)

La capacité d’apprendre est nécessaire mais pas suffisante

Je te parle pas de mettre à jour les cartes via un fichier, mais de la planification des trajets;

Si tu prends plusieurs trajets sur la durée, et que le logiciel l’analyse, pour adapter les futurs déplacements, et les optimiser, y’a une notion d’apprentissage, mais pas d’intelligence pour autant.

L’intelligence se définit pas comme la quantité d’unité qui travaillent sur une problématique

Apprentissage, pas intelligence…
Un logiciel qui analyse des millions d’images, comme il a été codé à faire, y’a aucune intelligence la dedans


#17

je re-re-recommence : personne ne dit qu’on est programmé entièrement par notre ADN.

une IA non plus n’est pas programmée entièrement par son code… c’est si compliqué à comprendre !!!

c’est quoi que tu comprends pas dans “apprentissage” et capteur ?

c’est pareil tu as été conçu par tes parents, sinon tu n’existerais pas.

et on doit même prendre soin de toi jusqu’à tes 10 ans environ sinon tu crèves, t’es pas autonome.

et encore une fois une IA dépend peu de son code mais dépend essentiellement de son apprentissage.

aucun notion d’apprentissage là-dedans.

bien sur que si en grande partie… devine pourquoi on a un très gros cerveau ? c’est juste pour mettre beaucoup de neurones.

ben si, dans le mot “analyse” que tu viens d’utiliser.

c’est dingue comme certaines personne n’entravent RIEN au réseau de neurones et ne peuvent s’empecher de voir ça comme un organigramme un peu compliqué.

encadre ça au dessus de ton lit :

ON NE PEUT PAS ECRIRE l’ORGANIGRAME D’UN RESEAU DE NEURONES

ON NE PEUT PAS D’ECRIRE PAR UN ORGANIGRAME LES DECISIONS QU’IL PREND.

au fait tu sais ce que c’est un neurone biologique ou logiciel ?

c’est un truc qui possède n entrées et une sortie. La sortie est la moyenne pondérée des entrées… voilà.

tu prends des milliards de trucs comme ça, tu les relies entre eux et tu obtiens un cerveau humain ou
une IA software.


#18

Et justement, des capteurs, avec des fonctions d’apprentissage / ajustement de comportement ne sont pas de l’IA car sont programmé par leur code

L’intelligence n’a rien à avoir avec le moyen de création ou l’autonomie.

Tu semble confondre savoir / connaissances et intelligence

Pour d’exprimer pleinement l’apprentissage est un outil nécessaire de l’intelligence. Mais l’apprentissage ne suffit pas à définir une intelligence

Analyser des situations rencontrées pour modifier le comportement à avoir, par rapport des connaissances incomplètes ou erronées, c’est quoi pour toi ?

Notre cerveau d’humain permet d’avoir un potentiel bien plus important que d’autres animaux. Mais c’est pas sa taille qui mesure l’intelligence (ni même son existence) Sans parler de l’origine / liens de causalités dont on sait pour ainsi dire rien actuellement… Donc difficile de comparer à l’intelligence humaine, vu le peu de connaissance sur son fonctionnement, origine, etc…

“Juste” l’analyser permet l’apprentissage,pas l’intelligence, qui nécessite une analyse par soit même, sans consigne / code qui te dit quoi faire et comment

C’est dingue comme certains n’entravent RIEN au développement logiciel des réseau de neurone et ne peuvent s’empêcher de voir ça comme une machine pensante tellement c’est compliqué qu’ils regardent que la sortie de la boite qui les surprend et font “whoa, c’est magique, c’est intelligent”

C’est pas parce que la sortie est humainement inconcevables (de part la quantité d’infos, de traitements pratiqués, des donnée en entrée), que ça reste pas un simple code informatique, tout ce qu’il y a de plus “organisé”

C’est pas parce que tu as codé un logiciel pour dire “voila comment tu dois travailler et analyser les choses”, sans connaitre le résultat à l’avance (ou lieu de lui dire directement le traitement pour avoir tel résultat), que le résultat de cette analyse est le résultat d’une intelligence)

Un réseau de neurone, aussi complexe soit il, n’est pas quelque chose qui “pense” par soit même, mais qui agit scrupuleusement comme sa programmation l’exige, et dont le comportement final est souvent inconnu, même du développeur (et c’est utilisé justement pour ce genre de problématique, appliquer des règles prédéfinies d’analyse et d’apprentissage sur des données / informations totalement intraitables autrement)

Si on prend le cas des essuie glaces de Tesla:

  • méthode 1: tu mets des capteurs, et tu fais un logiciel qui dit que à partir de telle valeur dans les capteurs, tu considères qu’il pleut, faut mettre les essuie glaces (et suivant les valeurs remonté du capteur, tu accélères ou pas leur vitesse)
    C’est “rapide” et simple à appréhender,
  • méthode 2: hop tu rajoutes de l’apprentissage: si tu constates qu’après avoir activé les essuie glaces, le conducteur les éteints aussitôt, ou au contraire, qu’il les allume manuellement arrivé à tel seuil, bah tu modifies les seuils de fonctionnement. T’as de l’apprentissage mais pas d’intelligence
    C’est assez simple à comprendre aussi je pense
  • méthode 3 : tu changes de logique / angle d’attaque pour résoudre le même probleme: tu développes un logiciel qui analyse non pas le résultat du capteur de pluie, mais une camera couplé au logiciel qui fait du traitement vidéo, les analyse. Tu t’en fout des seuils du capteur il existe plus, tu t’en fous de lui dire quand il faut mettre les essuie glaces. Tu code simplement: voila comment analyser les vidéos, et tu balances des millions de vidéos en lui disant “la, j’allume les essuie glaces, la non”. (ou si tu le fais pas, tu laisses constater la conduite, avec la camera et les choix du conducteur allumé ou éteint, ça sera juste plus long)
    Bah la aussi y’a de l’apprentissage (qui devient même la partie primordiale, contrairement au modèle d’avant où c’était une “aide” / correctif)… mais toujours aucune intelligence car pas d’analyse / réflexion autre que ce pourquoi et comment a été développé le logiciel (qui n’était pas “juste” de dire allumé ou éteint, mais plutôt voila différents cas avec la réponse à analyser comme je t’ai dis, maintenant, dans la situation actuel, on en est où ?). C’est du mimétisme à grand échelle, faire le singe, avec des quantités d’informations totalement inhumaines à concevoir. Rien de plus, même si le résultat peut sembler bluffant pour des personnes qui pigent rien au fonctionnement, et y voient un être intelligent enfermé dans une boite noire
    methode 4 : aucune consigne, aucun logiciel programmé spécifiquement pour cette tache, t’as un logiciel qui se met à dire par lui même “tiens, je vais mettre les essuie glaces tu verras mieux”. La on touche à l’IA.

,


#19

Non, c’est l’exception. Il en existe plus de 4 millions et très peu ressemblent à un humain. Ce qui, par ailleurs, ne présente aucun intérêt.


#20

non.

le neurone a un code assembleur, l’apprentissage n’en a pas.

le système apprend tout seul, on se contente de lui donner des récompenses, c’est bien, c’est mal.
Et dans une grande partie des IA, l’apprentissage n’utilise même pas de récompense, il n’y a aucun
opérateur humain… ça apprend vraiment tout seul, se sont les IA non-supervisées.

ça sert à rien que je m’épuise… commence par lire un bouquin de vulgarisation sur le neuronal, tu n’as
pas du tout compris ce que c’est.

bien sur que si… t’es pas né de Adam et Eve.

pour pouvoir découvrir la maitrise du feu, il faut être autonome en survie. Personne ne va sur la Lune, si l’humain a une espérance de vie de 10 jours.

c’est fondamental, c’est bien pour ça qu’on a mis
1 million d’année à domestiquer le feu…
1000 ans l’écriture et le calcul…
et 100 ans pour passer du cheval à la sonde sur Mars.

justement, dans un cerveau biologique ou software, ce n’est pas séparé… les neurones contiennent à la fois les connaissances et l’intelligence.

aucun GPS ne fait ça…

au mieux un truc comme Waze, tient compte de ton trajet préféré et ajuste en fonction des info d’autres clients de l’appli… une bête fonction de calcul de minimum.

c’est pas la taille qui la mesure mais c’est une condition necessaire… aucun cerveau taille de mulot ne va découvrir le feu ou l’écriture.

un grand singe pourrait potentiellement en revanche.

non c’est totalement désorganisé au contraire… on est incapable dans une IA de dire quelle partie du réseau de neurone a telle fonction… et qu’est-ce que ça fait si j’en débranche 10 000.

euh… si c’est exactement ça.

tu prends ton petit neveau de 4 ans, tu lui expliques pas PI, tu le fais jouer avec des cercles et un metre-ruban… il le trouve tout seul… tu dis putain il est intelligent le gamin.

traite juste la boite noire comme ton petit neveu… on demande rien d’autre.