Copilot s'installe progressivement au cœur de Windows : Microsoft souhaite que vous parliez à votre PC et que vous laissiez l'IA le contrôler

Sans que vous ne disposiez nécessairement d'un « PC IA »

Alors que Microsoft fait ses adieux à Windows 10 et se prépare à célébrer les 40 ans de son système d'exploitation, l'entreprise se tourne vers l'avenir de Windows. Microsoft n'est peut-être pas encore prête à annoncer Windows 12, mais elle souhaite clairement transformer chaque PC Windows 11 en un PC IA contrôlé par Copilot et avec lequel les utilisateurs peuvent dialoguer.

« Nous pensons être à l'aube d'une nouvelle évolution, où l'IA ne se limite plus à ce chatbot, mais s'intègre naturellement dans les centaines de millions d'expériences que les gens utilisent chaque jour », a déclare Yusuf Mehdi, vice-président exécutif et directeur marketing grand public chez Microsoft, lors d'une réunion d'information. « Notre vision est la suivante : réécrivons l'ensemble du système d'exploitation autour de l'IA et construisons ce qui deviendra véritablement le PC IA. »

Microsoft a lancé une série de fonctionnalités dans Windows qui permettront d'intégrer des fonctionnalités d'IA dans les PC Windows 11 classiques, sans que les consommateurs aient à acheter un PC Copilot Plus spécial. Le changement le plus important est que Microsoft pense que les utilisateurs voudront parler à leur ordinateur et demander à Copilot d'effectuer des actions à leur place.

« Vous devriez pouvoir parler à votre PC, lui faire comprendre ce que vous dites, puis voir la magie opérer », explique Mehdi. « Avec votre permission, nous voulons que les utilisateurs puissent partager avec leur IA sur Windows ce qu'ils font et ce qu'ils voient. Le PC devrait pouvoir agir en votre nom. »

Microsoft s'appuie sur les capacités vocales et visuelles de Copilot pour tenter de concrétiser cette vision, grâce à un nouveau mot d'activation « Hey, Copilot ! » désormais disponible sur les PC Windows 11. « À notre avis, la voix va désormais devenir le troisième mécanisme de saisie à utiliser avec votre PC », explique Mehdi. « Elle ne remplace pas nécessairement le clavier et la souris, mais c'est un ajout qui va profondément changer la façon de faire les choses. »

« Les médecins prennent des notes pendant qu'ils examinent leurs patients, les gens utilisent cette fonctionnalité pour effectuer des recherches, et notre collaboration avec la communauté des personnes à mobilité réduite nous a beaucoup appris sur la manière de rendre l'accès vocal et la saisie vocale vraiment utiles », explique Mehdi.


Comme un air de déjà vu ?

Nous avons déjà vécu cela à plusieurs reprises. Il y a dix ans, Microsoft a tenté de convaincre les utilisateurs d'utiliser Cortana sur les PC Windows 10, et a ajouté diverses fonctionnalités vocales à Windows pour améliorer l'accessibilité au cours des 40 dernières années.

D'ailleurs, Dave Coplin, qui était alors chief envisioning officer chez Microsoft et l’un des ingénieurs impliqués dans le projet Cortana, a estimé que les assistants personnels constituent le futur de la technologie et que les « anciens systèmes » comme les claviers QWERTY vont bientôt disparaitre puisqu’ils sont déjà obsolètes. Selon lui, le suivi facial et la reconnaissance vocale et gestuelle allaient pousser les utilisateurs à délaisser les claviers traditionnels. Pour Coplin, il était bizarre que les gens utilisent toujours cette technologie inventée au 19^e siècle, il a ajouté que plusieurs progrès ont été atteints, mais les lieux de travail ne se sont pas adaptés aux nouvelles tendances.

« Nous avons ces étonnants ordinateurs que nous utilisons toujours comme si nous étions encore dans l’époque victorienne. Le clavier QWERTY est un super exemple d’un design dépassé qui est toujours mis en avant même aujourd’hui. Nous n’avons pas vraiment évolué, nous utilisons toujours ce design sous-optimal. »

« Nous avons maintenant des technologies comme la reconnaissance vocale et gestuelle, et la poursuite faciale qui pourraient rendre le clavier obsolète », a ajouté Coplin. « Dans un futur proche, nous pensons que les ordinateurs seront en mesure de comprendre toutes ces choses et de conclure à notre place le but, le sens et l’objectif qu’on cherche à réaliser. »

Néanmoins, quelques années plus tard, Microsoft a supprimé Cortana de Windows 10 et Windows 11.

Cette fois-ci, Microsoft est désormais convaincu que l'IA va, d'une manière ou d'une autre, déclencher un changement de comportement et convaincre les gens qu'il n'y a rien d'étrange à parler à un PC.

« Toutes les données dont nous disposons montrent que lorsque les gens utilisent la voix, ils adorent ça », explique Mehdi. Certaines de ces données correspondent aux milliards de minutes que les gens passent à parler lors de réunions Microsoft Teams. « Aujourd'hui, ils parlent à travers leurs ordinateurs, et je pense que ce changement vers "parler avec et parler à" va se concrétiser et que nous verrons cette fonctionnalité vraiment décoller », a déclaré Mehdi.


Les risques d’un ordinateur qui voit et écoute tout

Pour que l'IA puisse contrôler un PC et effectuer des actions au nom de l'utilisateur, elle doit d'abord avoir accès à ce qui s'affiche à l'écran. Microsoft teste depuis quelques mois Copilot Vision, une fonctionnalité qui peut scanner tout ce qui s'affiche à l'écran et vous guider dans l'utilisation des applications ou répondre à vos questions sur les photos et les documents.

Copilot Vision est désormais disponible dans tous les marchés où Copilot est présent. Il vous permettra d'obtenir de l'aide pour utiliser des applications, résoudre des problèmes informatiques, apprendre de nouvelles tâches et même obtenir des instructions étape par étape dans les jeux. Contrairement à la fonctionnalité Recall qui prend automatiquement un instantané de votre PC, Copilot Vision est une fonctionnalité optionnelle qui vous permet essentiellement de diffuser ce que vous voyez à l'écran, comme vous le feriez lors d'un appel Teams.


La prochaine étape après Copilot Vision est Copilot Actions, qui permet à l'assistant IA de Microsoft d'effectuer des actions sur un PC local, comme modifier un dossier rempli de photos. Microsoft commence à tester ces actions sur des PC Windows dans le cadre d'un programme de prévisualisation, limité à un ensemble restreint de cas d'utilisation, tandis que Microsoft optimise le modèle d'IA.

« Au début, vous verrez peut-être l'agent commettre quelques erreurs ou rencontrer certaines difficultés lorsqu'il essaiera d'utiliser des applications très complexes », explique Navjot Virk, vice-président corporate de Windows Experiences. Un agent IA qui commet des erreurs en utilisant un ordinateur n'inspire pas confiance, ce qui explique probablement pourquoi Microsoft limite pour l'instant cette fonctionnalité à Copilot Labs. « Nous sommes absolument déterminés à tirer des enseignements de la manière dont les gens l'utilisent, et nous voulons continuer à améliorer l'expérience afin de la rendre plus performante et plus fluide au fil du temps », déclare Virk.

Copilot Actions se lance dans un « environnement sécurisé et confiné » distinct du bureau Windows et utilise un agent IA pour accomplir la tâche que vous lui avez confiée. Vous pouvez le laisser fonctionner en arrière-plan pendant que vous faites autre chose. Il répertorie toutes les étapes qu'il effectue et vous pouvez vous asseoir et le regarder les accomplir.

Microsoft intègre également Copilot dans la barre des tâches Windows, avec un accès en un clic à ces nouvelles fonctionnalités Copilot Vision et Voice. Il propose également une nouvelle expérience de recherche intégrée pour trouver plus rapidement les fichiers, applications et paramètres locaux.


Les risques d’une fusion totale entre Copilot et Windows : quand l’assistant devient le système

Ce que Microsoft présente comme une évolution naturelle de Windows — l’intégration transparente de Copilot au cœur du système — soulève de sérieuses inquiétudes quant à la centralisation du pouvoir technologique et à la dilution du contrôle utilisateur. La fusion n’est pas anodine : elle marque le passage d’un modèle où...