Google a lancé le 19 novembre une fonction « utilisation de l'ordinateur » pour son application Gemini sur Mac : l'agent IA peut désormais piloter seul des programmes, des fichiers et des sites dans une fenêtre distincte en arrière-plan, pendant que l'utilisateur fait autre chose, a indiqué l'entreprise dans un billet de blog.
Parmi les usages cités par Google figurent la correction colorimétrique par lots de photos et de scènes 3D, le transfert de données de documents PDF vers des formulaires d'expédition, la création de présentations à partir de plusieurs tableaux de bord et la mise en ligne groupée d'articles sur des plateformes de revente.
La fonction ne tourne que sur un Mac à puce Apple Silicon sous macOS Sequoia 15.0 ou version ultérieure, et reste réservée aux titulaires d'un compte Google personnel âgés de 18 ans ou plus, abonnés à l'une des offres payantes Google AI Plus, Pro ou Ultra. L'accès n'est ouvert pour l'instant qu'en anglais et qu'aux États-Unis ; l'application Gemini pour Mac se télécharge sur gemini.google/mac.
L'utilisateur choisit lui-même les programmes auxquels l'agent a accès, peut suivre chacune de ses actions en temps réel, mettre une tâche en pause à tout moment et valider à l'avance les étapes sensibles.
La documentation de Google consacrée à cette fonction comporte un avertissement : des instructions dissimulées dans un document peuvent pousser l'agent à effectuer des actions que l'utilisateur n'a jamais demandées, une technique appelée injection de commandes. L'agent accède aux sessions ouvertes des applications et aux codes de confirmation de connexion, et peut exécuter des étapes ensuite impossibles à annuler.
Une copie de sauvegarde du fichier peut être activée pour une durée maximale de 24 heures ou jusqu'à la tâche suivante confiée à l'agent, mais cette option n'existe pas pour certaines applications.
Des outils de pilotage d'ordinateur similaires existent déjà chez OpenAI avec Codex, Anthropic avec Claude et Moonshot AI avec Kimi Work. Apple, de son côté, durcit son propre système d'autorisations dans la version bêta de macOS 27.3, où les utilisateurs devront de nouveau confirmer les accès sensibles.


