Google hat am 19. November für die Gemini-App auf dem Mac eine neue Funktion namens „computer use“ gestartet, mit der der KI-Agent Programme, Dateien und Webseiten in einem separaten Hintergrundfenster selbstständig steuert, während Nutzer parallel weiterarbeiten, teilte das Unternehmen in seinem Blog mit.
Als Beispiele nennt Google die Stapelbearbeitung von Fotos und 3D-Szenen, das Übertragen von Daten aus PDF-Dokumenten in Versandformulare, das Zusammenstellen von Präsentationen aus mehreren Dashboards sowie das massenhafte Einstellen von Artikeln auf Wiederverkaufsplattformen.
Die Funktion läuft nur auf Macs mit Apple-Silicon-Prozessor unter macOS Sequoia 15.0 oder neuer und steht nur Nutzern ab 18 Jahren mit privatem Google-Konto und einem kostenpflichtigen Abonnement Google AI Plus, Pro oder Ultra zur Verfügung. Der Zugang ist vorerst auf Englisch und auf die USA beschränkt; die Gemini-App lässt sich unter gemini.google/mac herunterladen.
Nutzer entscheiden selbst, auf welche Programme der Agent zugreifen darf, können jeden seiner Schritte in Echtzeit verfolgen, eine Aufgabe jederzeit pausieren und wichtige Aktionen vorab bestätigen.
Googles Dokumentation zu der Funktion enthält eine Warnung: In Dokumenten versteckte Anweisungen könnten den Agenten zu Handlungen bewegen, die Nutzer nie angefordert haben, eine Angriffsmethode, die als Prompt Injection bekannt ist. Der Agent erhält Zugriff auf offene App-Sitzungen und Anmeldecodes und kann Schritte ausführen, die sich später nicht mehr zurücknehmen lassen.
Eine Sicherungskopie einer Datei lässt sich für bis zu einen Tag oder bis zur nächsten Aufgabe des Agenten aktivieren, bei manchen Apps gibt es diese Möglichkeit jedoch gar nicht.
Ähnliche Funktionen zur Computersteuerung bieten bereits OpenAI mit Codex, Anthropic mit Claude und Moonshot AI mit Kimi Work an. Apple verschärft parallel in der Betaversion von macOS 27.3 die Zugriffskontrolle: Weitreichende Berechtigungen sollen künftig eine erneute Bestätigung durch Nutzer erfordern.


