Voici mon blog personnel. Intelligence artificielle, marketing digital sont les sujets les plus souvent abordés.

Étiquette : automatisation

Pourquoi je hais les banques

Entrepreneur, blogger, marketer, écrivain, les anglos-saxons disent que je suis un « slasher ». Je suis aussi un geek compulsif qui se soigne grâce à sa dose de Twitter et Youtube matin et soir.

En fait, mon inspiration pour cet article provient de mon expérience avec les banques. Les banques révèlent le pire de plusieurs mondes et les font ressortir.

Bien sûr, tu peux haïr les banques pour de très bonnes raisons. Comme le fait qu’elles sont des sociétés prédatrices qui provoquent des crises financières gigantesques et la misère. Quand tu sais que le nombre d’opérations est “limitée” à la nanoseconde… c’est-à-dire qu’elles ont le droit jusqu’à 1 milliard d’opérations à la seconde (trading). Ou qu’elles volent aux pauvres pour donner aux riches. Ce sont d’excellentes raisons de détester les banques que je n’ai pas l’intention de nier. Mais ce sont des raisons plutôt abstraites. Ma haine provient de problèmes quotidiens beaucoup plus concrets…

Chaque fois que j’ai besoin (et je trouve que j’en ai souvent besoin), comme lorsqu’elles bloquent ma carte de crédit sans raison valable, c’est la pire expérience possible. C’est long, inefficace et aliénant. Je me sens énervé et stupide en même temps.

Je suis convaincu que l’expérience s’est bien aggravée avec le temps. Ce n’est pas que les gens aient tous aimé leurs banques dans les années 50, mais au moins leurs banques avaient un visage. Un agent qu’ils connaissaient et qui les connaissaient. Un être humain qui était habilité à résoudre au moins certains de leurs problèmes.
La raison paradoxale pour laquelle les banques offrent maintenant la pire expérience possible c’est qu’elles ont traversé une transformation numérique partielle et organisationnelle. Donc, aujourd’hui, elles combinent le pire de l’ancien monde avec le pire du nouveau monde.

La pire expérience possible

Tu as déjà essayé d’obtenir un prêt ou ouvrir un compte professionnel ? Ou simplement retirer une somme importante (enfin demander des grosses coupures) ? Ou alors récupérer ton argent sur un compte de placement ?

D’abord, tu dois prendre un rendez-vous, ce qui est une épreuve en soi ! Car soit tu dois appeler et attendre 15 minutes avec une musique débilitante qui semble conçue pour t’énerver. Qu’est-ce que Vivaldi penserait s’il savait comment sa musique est utilisée de nos jours ? Tu me diras, moi je vais au guichet, alors tu fais la queue juste pour prendre rendez-vous. Si tu veux prendre rendez-vous dans ta banque où tu as déjà un compte alors elle possède sans doute une application. Wow. Sinon, il est rarement possible de le faire en ligne ! J’ai écris à mon conseiller pour faire une opération sur mon compte j’ai reçu un mail automatique disant qu’il était en vacance. C’est super de savoir qu’il est en vacance et du coup tu dois attendre qu’il fasse sa vie ? Pour une institution qui pratique des AGIOS à la journée c’est quand même dégueulasse de laisser son client attendre 10 jours que M. André revienne des Bahamas…

Des frais pour un service compliqué

Aller en ligne est généralement un cauchemar car les sites bancaires semblent avoir été conçus par des ingénieurs sadiques qui veulent te punir pour un travail qu’ils détestent. La conception est tout sauf intuitive. Il est difficile de trouver l’information dont tu as besoin. Il y a beaucoup de mots de passe. Ou mieux encore, ils t’ont fourni un périphérique spécial pour générer des codes de sécurité, comme HSBC Secure Key. Si tu le perds, tu ne peux pas te connecter. Bonne chance si tu as besoin d’obtenir une info !

La sécurité avant tout !

Des problèmes de sécurité seront généralement avancés pour justifier le manque total de transparence. C’est HORRIBLE, donc il faut que ça soit SECURE. Peut-être que certaines personnes pensent que c’est sécurisé quand c’est particulièrement horrible. En effet, c’est peut-être la raison pour laquelle peu de clients se plaignent réellement. La «sécurité» voilà pourquoi tu ne peux pas tout faire en ligne. Ils vous combineront le téléphone, l’ordinateur et le courrier postal. Personnellement, la plupart des courriers postaux que je reçois aujourd’hui proviennent des banques (en plus je paie quand c’est une lettre de rappel !).

Mais pire, par exemple, si tu fais un transfert en ligne avec ton ordinateur tu as besoin de ton téléphone ou d’une carte chiffrée. Non seulement ce n’est pas simple mais en plus ils prennent des frais sur le change (entre devises) pourquoi ?! Et si tu dois changer ton numéro de téléphone… tu dois attendre qu’ils t’envoient un code d’activation par courrier !

Véritable exemple chez BNP :
image-hais-banques

Les employés de la banque ne t’aideront pas

Depuis plusieurs années je suis mécontent du service bancaire. Véritablement, le service client est tellement détestable que ça soit à la BNP, Caisse d’Epargne ou autres. Et c’est aussi pour cette raison que je me suis décidé à écrire cet article. Jusqu’à quelques jours j’ai été client dans 4 banques différentes. J’ai fait le calcul, en 10 ans j’ai vu en moyenne 4 conseillers différents par banque. Au total 40 conseillers/res ont débuté une relation commerciale avec moi. Pourtant seulement 2 ou 3 conseillers/res m’ont donné une belle image de leur succursale. De plus, l’expérience bancaire a cette couche supplémentaire de méchanceté, car les employés de la banque peuvent souvent être grossiers ou arrogants (notamment au téléphone).

Maintenant que j’ai vécu à la frontière Suisse pendant près de 6 ans, je peux dire que les employés de banque ont tendance à être plus gentils en Suisse qu’en France. Mais j’ai trouvé que l’expérience générale n’était que légèrement meilleure parce que les employés des banques sont aussi inefficaces et impuissants que ceux de France. Cela m’a conduit à réfléchir sur les raisons.

Certains employés du Crédit Mutuel ont peur d’être remplacé par des bots. Si seulement les bots étaient de l’intelligence artificielle bien rodées qui permettraient de les remplacer… Ce n’est pas encore le cas mais vous allez y passer.

Les raisons de ma haine

  1. Les banques sont des organisations “fordiste”. Dans une recherche d’efficacité accrue, elles ont centralisé beaucoup de leurs activités. Dans le but de réduire les coûts.
  2. Elles ont embauché des employés moins qualifiés (souvent plus jeunes). Par conséquent, ces employés n’ont pas le statut et l’autorité de leurs prédécesseurs. Ils ne sont pas seulement moins payés, ils ne sont pas non plus habilités à en faire autant. Même s’ils sont véritablement compétents et bien intentionnés ( j’en n’ai aucun doute), ils ne sont pas habilitées à t’aider. Car ils dépendent des services centralisés : « Permettez-moi de vous répondre, je dois transmettre votre demande à l’équipe dédiée ».

Les banques sont des organisations bureaucratiques qui sont devenues encore plus bureaucratiques après la réorganisation de leurs services !

  1. Lorsque les employés et les utilisateurs (clients) éprouvent de la douleur, la bureaucratie devient la “bureau-pathologie”. D’une part, étant donné l’écart est de plus en plus large entre les employés et les attentes des utilisateurs, et d’autre part, le modèle organisationnel bureaucratique est perçu comme encore plus «pathologique». Ainsi, cela crée un sentiment d’aliénation qui vide le travail de sa signification.

Finalement, pour toutes ces raisons, il y a un turnover important (les employés partent). En tant que client, comme je l’ai dit précédemment, tu es rarement servi par le même employé pendant une longue période. Cela rend la continuité du service client instable. Tu dois souvent expliquer les choses encore et encore. A l’évidence, rend-toi compte que la majeure partie des banques sont fermées le lundi ! Nous sommes en 2017, elles ouvrent à 9h sont fermées pour la pause déjeuné et elles ferment à 17h30… Dans ces conditions, nous ressentons ce sentiment aliénant d’être juste un numéro anonymisé écrasé dans un rouage rouillé.

Lorsque le numérique rend le service encore pire

Plutôt que de rendre les choses plus faciles, les outils numériques rendent toute l’expérience pire parce que tu ne peux pas tout faire en ligne. Le design est à revoir et puis de toute façon tu auras besoin de la Poste ou du téléphone. Alors pourquoi ne pas tout faire via la Poste dans ce cas ? Paradoxalement, si tu veux aller plus vite en allant directement à ta succursale, ils te demanderont de remplir un formulaire en ligne. En règle générale, le numérique ne te sauvera pas. Souvent parce que tu dois remplir des formulaires en ligne et hors ligne.

Tu peux aussi lire cet article où j’explique que les banques sont en train de vivre leur moment “kodak”. Cette société américaine qui a fait faillite car elle n’a pas su prendre la bonne décision concernant l’innovation de la photo numérique (dont elle avait fait la découverte !).

Ressources informatiques mal maîtrisées

Après de longues recherchent, très peu de banques ont résolu leur problème de patrimoine informatique. Les systèmes hérités, développés et mis en place il y a plus de 20 ans, ont été au coeur de la transmission des paiements, du traitement des transactions bancaires et de la gestion des comptes. Les banques dépensent 80% de leur budget informatique pour maintenir (ou améliorer) leur base informatique existante. Donc tout cela laisse très peu de progrès stratégique à long terme. Comme la plupart des cadres considèrent l’informatique comme un « coût », ils veulent naturellement « réduire » ces coûts. Par conséquent, les ressources en IT ont été « externalisées ». Enfin, cela a été un désastre pour les banques parce que les attentes des consommateurs ont changé rapidement.

Des nouvelles banques dans la danse

L’héritage informatique est une très bonne explication. Cependant, pour avoir ouvert un compte chez Revolut et N26, ils proposent tout de même un service à la hauteur de mes attentes. J’en conviens Revolut n’est pas une banque à proprement parlé mais plus d’un portefeuille, dans lequel tout frais de change est aboli. La carte est gratuite également.

Pour N26, comme indiqué sur leur site, la création d’un compte prend 8 minutes et une vérification via un opérateur en appel visio prend 8 minutes de plus. Les formulaires sont en ligne, une question ? Il y a une FAQ sinon il y a un chat ou bien twitter. En 16 minutes j’ai ouvert un compte sans prise de rendez-vous, sans me déplacer. D’ailleurs j’ai posé 3 questions. Deux répondues instantanément et une autre sur Twitter qui a pris 12 minutes. Je reçois une notification sur mon portable pour toutes transactions. Je suis alerté instantanément quand je reçois de l’argent et quand je paie. Ai-je besoin d’autre chose ?

Tout est une question de contrastes

Ce qui rend l’expérience bancaire si grave, c’est qu’elles mettent en évidence de forts contrastes. Ces contrastes les rendent insupportables. Le contraste entre un monde où tout est plus flexible et la rigidité ancienne d’une banque. Avant nous avions une seule banque avec le salaire du couple et les crédits. Aujourd’hui nous avons plusieurs comptes dans plusieurs banques (mon crédit étudiant ici, mon compte de naissance par-là, des placements autre part etc.).
Alors que les banques essaient depuis 20 ans de rajeunir leur image et de montrer que les agents n’ont pas les “dents longues”. Pourtant, avec la multibancarisation et le besoin d’avoir un lien humain et personnalisé sont des aspects primordiaux à prendre en compte aujourd’hui.
Et puis qu’est-ce qui nous fait rester ? Je veux un crédit immobilier ou un prêt conso ? Je peux demander dans n’importe quelle banque. Alors oui je te hais.

Crédit photo article : Fuze

Etude McKinsey – un robot va-t-il remplacer ton job ?

Entrepreneur, blogger, marketer, écrivain, les anglos-saxons disent que je suis un « slasher ». Je suis aussi un geek compulsif qui se soigne grâce à sa dose de Twitter et Youtube matin et soir.

Etude McKinsey ; remplacé par un robot ou pas

Les progrès récents dans l’intelligence artificielle ont rendu techniquement possible d’automatiser de nombreuses tâches.

Cependant la complexité du travail moderne signifie aussi que les gens font plusieurs opérations différentes. Les travailleurs, et surtout les cols blancs, complètent une grande variété de tâches au travail.

Cette calculatrice interactive, basée sur les données du McKinsey Global Institute, donne une indication de la façon dont l’avenir du travail va changer. L’IA et de l’automatisation vont tout simplement remplacer les activités professionnelles des travailleurs.

étude mckinsey job remplacé par robot

étude mckinsey

Presque toutes les professions à certaines tâches près peuvent être automatisées. Cependant, selon l’étude McKinsey, moins de 5 pour cent des professions peuvent techniquement utiliser des processus entièrement automatisée.

A savoir, même pour des activités techniquement automatisable, la mise en place dépendra d’un certain nombre de facteurs :

  1. le coût du déploiement de solutions robotiques,
  2. les avantages économiques de cette opération,
  3. l’offre et la demande de main-d’œuvre humaine,
  4. la réglementation et,
  5. l’acceptation sociale

Méthodologie de l’étude McKinsey

Selon l’étude, la mise en place en fonction de ses critères pourrait prendre des dizaines d’années, même si la technologie est réalisable actuellement.

Elle a été réalisé en utilisant les données du Bureau des statistiques du travail des États-Unis. 820 professions analysées dont il existe environ 2 000 activités uniques. McKinsey a ensuite évalué, pour chaque activité, quelle combinaison de 18 capacités de performance différentes étaient nécessaires pour effectuer cette activité.

Par exemple, le travail du conseiller vendeur se compose d’activités telles que « Saluer le client », «Démontrer les caractéristiques du produit», etc. Le salut des clients requiert des capacités telles que la «perception sensorielle», avoir une «sensibilité sociale et émotionnelle» et «génération de langage naturel».

Dès lors, l’étude a ensuite considéré quel niveau de performance de cette capacité est nécessaire. En fonction de la façon dont les humains effectuent actuellement ces activités. Ils ont également évalué si la technologie d’automatisation existante pouvait atteindre le même niveau de performance. De plus, une activité est considérée techniquement automatisable uniquement si la réponse est oui pour toutes les capacités requises pour effectuer cette tâches.

 

 

Le défi auquel nous sommes confrontés aujourd’hui n’est pas un « monde sans travail », mais un monde qui change rapidement de travail

Entrepreneur, blogger, marketer, écrivain, les anglos-saxons disent que je suis un « slasher ». Je suis aussi un geek compulsif qui se soigne grâce à sa dose de Twitter et Youtube matin et soir.

Cet article fait référence à ce précédent billet.

Le rythme des progrès dans l’intelligence artificielle et l’automatisation s’accélère rapidement

Dans l’unique mois de février, ce ne sont pas moins de cinq informations importantes que j’ai vu:

  • Google DeepMind Ltd à Londres, a développé un système pour numériser 1 million d’ images à partir de scanner de l’ oeil. L’IA sera suffisamment compétente pour repérer des maladies de l’oeil beaucoup plus tôt qu’un humain le pourrait.
  • Rethink Robotics Inc. de Boston, Massachusetts, fondée par l’ancien directeur du MIT AI Lab. Rodney Brooks, a fait des améliorations incroyables à ses robots Sawyer. Ce sont des robots que l’on peut entrainer très rapidement pour des tâches routinières. Mais il est aussi capable de procéder à des vérifications techniques dignes d’un expert.
  • H & R Block ont commencé à utiliser le système informatique Watson d’IBM pour maximiser les déductions des clients. Watson « connaît » des milliers de pages de code sur l’impôt fédéral et mettra à jour les changements à mesure de son apprentissage.
  • NuTonomy Inc., une startup développant les voitures auto-conduites basées sur la technologie du MIT. Ils ont lancé une petite flotte de taxis autonomes à Boston.
  • Forward , San Francisco, une startup fondée par l’ancien directeur des projets spéciaux de Google. Ils tentent de déplacer les soins de santé traditionnels aux soins proactifs grâce à l’utilisation de l’IA en raccourcissant le temps des diagnostics.

Le Deep Learning et les réseaux neuronaux ont considérablement amélioré leur propre efficacité. Cela conduit à des performances de niveau humain dans de nombreux domaines; tels que la vision, de la parole (conversationnelle) et la résolution de problème. En conséquence, les industries sont au milieu d’une transformation majeure de grande envergure.

Mais il y a aussi un changement sociétal

Le revenu médian en Amérique est plus faible aujourd’hui que dans les 15 dernières années. Comme on le voit dans les récentes élections américaines, il y a insatisfaction quant à la répartition inégale des avantages du progrès technologique. Recherche IDE soutient les gouffres que beaucoup ressentent.

Les rumeurs au sujet des robots qui remplacent de plus en plus le travail humain sont d’actualité; avec des préoccupations légitimes. Bien sûr, ce n’est pas la première fois que l’automatisation a transformé les usines. Cependant avec des technologies IA de plus en plus fiable d’aujourd’hui, l’automatisation commence à se glisser dans les domaines qui semblaient à l’abri de ce changement, comme le droit, l’éducation, et journalisme.

Au milieu de toutes ces merveilles, il est important de se rappeler qu’il n’y a pas de pénurie de travail qui peut être fait que par les humains. Comme dans ce précédent billet, j’explique qu’il y aura toujours du travail mais pas forcément avec des emplois. Et cela restera vrai pour de nombreuses années. Le défi auquel nous sommes confrontés aujourd’hui n’est pas un « monde sans travail », mais un monde qui change rapidement de travail. La réponse est donc non pas simplement de remplacer le revenu pour les travailleurs étant déplacés par la technologie, mais de les préparer à faire de nouveaux emplois. Ces emplois qui font cruellement défaut dans l’éducation, les soins de santé, les infrastructures, le nettoyage de l’environnement, l’esprit d’entreprise, l’innovation, la découverte scientifique, et beaucoup d’autres domaines.

Le travail oui, mais différemment

Comment ? Trop de dirigeants patronaux et syndicaux ainsi que des hommes politiques, sont devenus complaisants. Ils craignent un avenir qui va perturber (disrupter) les modèles et les économies actuelles. Mais la solution à la disruption n’est pas de protéger le passé du futur ni de geler les anciennes façons de faire. C’est garantir l’échec. La meilleure voie à suivre est d’adopter des outils et des modèles émergents qui non seulement créent des biens et des services, mais la prospérité générale.

Le développement de produits et des services IA d’une manière compétitive, ne doit pas entrer en conflit avec le déploiement – et le redéploiement – de la main-d’œuvre.

Au lieu de penser l’IA comme un jeu à somme nulle, ou un moyen d’automatiser des emplois et des services existants. Les dirigeants avant-gardistes reconnaissent que la technologie apporte une valeur ajoutée. En développant des emplois et stimulant la productivité.

Quand la technologie vient compléter les travailleurs humains, qui les rend plus productifs, et réduit également les coûts (La nouvelle société du coût marginal zéro ? prédit Jeremy Rifkin), les entreprises et les employés sont mieux lotis.

 

Source

Futur du Deep Learning ? Le Reinforcement Learning !

Entrepreneur, blogger, marketer, écrivain, les anglos-saxons disent que je suis un « slasher ». Je suis aussi un geek compulsif qui se soigne grâce à sa dose de Twitter et Youtube matin et soir.

Le sujet est complexe, si tu veux du pragmatique, je te conseille de lire le dernier paragraphe. Bonne lecture 🙂

Le cerveau humain vs Reinforcement Learning

Les humains sont excellents dans la résolution d’une grande variété de problèmes, en plus leur cerveau consomme peu d’énergie. L’objectif chez DeepMind est de créer des agents artificiels qui peuvent atteindre un niveau de performance similaire.

Comme un être humain, leurs agents apprennent eux-mêmes pour parvenir à des stratégies efficaces qui mènent aux plus grandes récompenses à long terme. Ce paradigme de l’apprentissage par essais et d’erreurs, est connu comme l’apprentissage par renforcement (Reinforcement Learning).

En outre, comme un être humain, ces agents construisent et apprennent de leurs connaissances directement à partir de matières brutes. Telles que la vision et sans fonctionnalités d’ingénierie codée préalablement à la main ou du domaine heuristique. Cet objectif est atteint par l’apprentissage en profondeur (Deep Learning j’en parle ici) des réseaux de neurones.

Au DeepMind, ils ont mis au point la combinaison de ces approches – le deep reinforcement learning (DRL) – pour créer les premiers agents artificiels à atteindre une performance de niveau humain dans de nombreux domaines jugés difficiles.

L’IA doit faire des erreurs pour apprendre

Les agents doivent continuellement faire des jugements de valeur de manière à sélectionner les bonnes actions des plus mauvaises. Cette connaissance est représentée par un Q-réseau qui estime la récompense totale qu’un agent peut espérer recevoir après avoir pris une action particulière.

Il y a deux ans, ils ont crée avec succès l’algorithme sur l’apprentissage par renforcement profond (Deep Reinforcement Learning). L’idée principale était d’utiliser des réseaux de neurones profonds pour représenter le Q-réseau, et de former ce Q-réseau pour prédire la récompense totale. Les précédentes tentatives pour combiner RL avec les réseaux neuronaux ont largement échoué en raison de l’apprentissage instable.

Pour répondre à ces instabilités, les Q-réseaux profonds (DQN) stocke toutes les expériences de l’agent. Puis au hasard, il pioche des échantillons et rejoue ses expériences pour fournir des données de formation diverses et décorrélés. Ils ont appliqué le DQN dans l’apprentissage des jeux sur la console Atari 2600.

A chaque pas, l’agent observe les pixels bruts sur l’écran, un signal de récompense correspondant au score de jeu, et sélectionne une direction du joystick. Dans l’article de Nature, ils ont formé des agents DQN différents pour 50 jeux différents Atari, sans aucune connaissance préalable des règles du jeu.

Comparison of the DQN agent with the best reinforcement learning methods in the literature. Comparaison of the DQN agent with the best reinforcement learning methods in the literature.

Étonnamment, DQN atteint des performances de niveau humain dans près de la moitié des 50 matchs auxquels il a été appliqué; bien au-delà de toute méthode précédente. Le code source DQN et émulateur Atari 2600 sont librement accessibles à tous ceux qui souhaitent expérimenter eux-mêmes.

Toujours plus performant

Ils ont par la suite amélioré l’algorithme DQN à bien des égards ; stabiliser davantage les apprentissage dynamique ; hiérarchiser les  expériences relus ; normalisation, agrégation et remise à l’ échelle des sorties. La combinaison de plusieurs de ces améliorations conduit à une progression de 300% du score moyen pour les jeux Atari; des performances de niveau humain ont été réalisé dans presque tous les jeux Atari.

Les ingénieurs peuvent même former un réseau neuronal unique pour en apprendre davantage sur plusieurs jeux Atari. Deep Mind a également construit un système en open source, connu sous le nom Gorila, qui utilise la plate-forme Google Cloud pour accélérer le temps de formation ; ce système a été appliqué dans la recommandation dans les systèmes de Google.

Le Reinforcement Learning asynchrone

Cependant, Q-réseaux profonds ne sont qu’un moyen de résoudre le problème de RL profonde. Ils ont récemment introduit une méthode encore plus pratique et efficace basée sur un RL asynchrone. Cette approche exploite les capacités de multit-reading de CPU standard.

L’idée est d’exécuter de nombreux exemples à leur agent en parallèle, mais en utilisant un modèle partagé. Cela fournit une alternative viable à l’expérience de rediffusion.

Leur algorithme acteur-critique asynchrone, A3C , combine un DQN avec un réseau pour la sélection des actions. Il obtient des résultats state-of-the-art, en utilisant une fraction du temps de formation des DQN et une fraction de la consommation des ressources de Gorila.

En construisant de nouvelles approches de la motivation intrinsèque et la planification dans le temps abstrait , ils ont également obtenu des résultats exceptionnels dans les jeux les plus notoirement sur les jeux difficiles Atari, tels que la vengeance de Montezuma.

Asynchronous RL effectue également bien dans ces domaines et, lorsqu’il est complété par une stratégie de contrôle hiérarchique, peut résoudre des problèmes difficiles sans aucune connaissance préalable.

Alors que les jeux Atari démontrent un large degré de diversité, ils sont limités à la 2D. Google a récemment introduit Labyrinth : une navigation 3D plus difficile avec des environnements de résolution d’énigmes. Encore une fois, l’agent observe des entrées à base de pixels dans son champ de vision, et doit comprendre la carte pour découvrir et exploiter des récompenses.

Étonnamment, l’algorithme de A3C réalise des performances au niveau humain, sur de nombreuses tâches de labyrinthe. Une autre approche basée sur la mémoire épisodique a également fait ses preuves. Labyrinth sera également publié en open source dans les prochains mois.

Des applications de tous les jours ?

Ils ont également développé un certain nombre de méthodes de RL profond pour les problèmes de contrôle en continu telles que la manipulation robotique et la locomotion (automobile). Leur algorithme Deterministic Policy Gradient Algorithmss (DPG) fournit un analogue aux DQN. Et surtout chez Google et Facebook, le RL es utilisé pour créer des nouvelles IA !

Concrètement, une voiture autonome apprend à conduire sans que nous l’avons programmé pour cela. Le réseau de neurone créer alors des « expériences » qu’il conserve et transmet aux autres voitures. Ainsi chaque voiture dans le monde possède les mêmes expériences simultanément. D’ailleurs Intel a fait conduire ses voitures autonomes sur le jeu GTA V.

Le jeu de Go est le plus difficile des jeux classiques. Malgré des décennies d’efforts, les méthodes antérieures avaient seulement atteint des performances de niveau amateur. Deep Mind a développé un algorithme de RL profond qui apprend à la fois un réseau de valeur (qui prédit le gagnant) et un réseau de politique (qui sélectionne les actions) à travers des jeux. AlphaGo, programme ses réseaux neuronaux profonds avec une recherche « state-of-the-art ».

Finalement en Octobre 2015, AlphaGo est devenu le premier programme à vaincre un joueur humain professionnel . En Mars 2016, AlphaGo défait Lee Sedol (le joueur le plus fort de la dernière décennie avec 18 titres mondiaux) par 4 jeux à 1, dans un match qui a été regardé par environ 200 millions de téléspectateurs.

Par ailleurs, ils ont également développé un jeu theorique par approches RL profonde , aboutissant à un joueur super-humain de poker en heads-up au No Limit Texas Hold’em.

De Atari à Labyrinthe, de l’automobile par la manipulation au poker et même le jeu de Go, les agents d’apprentissage de renforcement profond ont démontré des progrès remarquables sur une grande variété de tâches difficiles. Leur objectif est de continuer à améliorer les capacités de ces agents, et de les utiliser pour avoir un impact positif sur la société, dans des applications importantes telles que les soins et la santé.

© 2023 Ludo LOUIS

Theme by Anders NorenUp ↑