Auf welche Funktionen von Gemini und Google AI warten wir?

Im letzten Jahr oder so hat Google eine Vorschau auf eine Reihe von KI- und anderen Funktionen der Marke Gemini in seinen verbraucherorientierten Apps gezeigt. Hier finden Sie alles, was angekündigt wurde und wann es verfügbar sein könnte.

Pixel

Am Ende von Made by Google 2023 wurde für das Pixel 8 Pro eine Zoom Enhance-Funktion angekündigt, die „Lücken zwischen Pixeln intelligent füllt und feine Details vorhersagt“. Google nutzte das „benutzerdefinierte generative KI-Bildmodell“ auf dem Gerät und bezeichnete dies als nützlich, wenn man das Zoomen vergisst.

Es handelt sich um eine erstaunliche Anwendung generativer KI, die eine Vielzahl von Möglichkeiten für die Bildgestaltung und -bearbeitung eröffnet. Die Art von Zoom, die Sie aus Science-Fiction-Filmen gewohnt sind, finden Sie direkt im Telefon in Ihren Händen.

Im Oktober sagte Google, dies werde „später kommen“. Nach drei Pixel-Feature-Drops sind sie immer noch nicht angekommen. Es ist nicht klar, ob es sich bei dem Modell, auf das sich Google bezieht, um den Gemini Nano mit Multimodalität handelt. Zu diesem Zeitpunkt könnte es sein Debüt mit dem Pixel 9 Pro als Hauptfotofunktion dieses Telefons geben.

Google House

In der Google Home-App wird generative KI verwendet, um Ereignisse in einer „vereinfachten Ansicht dessen, was kürzlich passiert ist“ zusammenzufassen. Diese schnelle und einfache Zusammenfassung verwendet zusammenfassende Aufzählungspunkte, während Sie auch im Gespräch „Nach Ihrem Zuhause fragen“ können, um historische Videos zu finden und automatisiert zu erhalten. „Beta-Funktionen“ werden 2024 für Nest Aware-Abonnenten verfügbar sein.

Fitbit

Mit Fitbit Labs können Fitbit Premium-Benutzer experimentelle KI-Funktionen testen und Feedback dazu geben.

Eine dieser Funktionen ist ein Chatbot, mit dem Sie auf natürliche, gesprächige Weise Fragen zu Ihren Fitbit-Daten stellen können. Dieses „personalisierte Coaching“ mit Blick auf Fitnessziele zielt darauf ab, „umsetzbare Botschaften und Anleitungen“ zu erstellen, mit Antworten, die personalisierte Diagramme umfassen können.

• „Sie können beispielsweise genauer untersuchen, wie viele Aktivzonenminuten (AZMs) Sie erhalten, und einen Zusammenhang damit herstellen, wie gut Sie Ihren Schlaf erholen.“
• „…Dieses Modell kann möglicherweise Unterschiede in Ihren Schlafmustern und Ihrer Schlafqualität analysieren und dann basierend auf diesen Erkenntnissen Empfehlungen dazu vorschlagen, wie Sie die Intensität Ihres Trainings ändern können.“

Hinter den Kulissen wird dies durch einen neuen LLM in Personal Health von Fitbit und Google Research unterstützt, der auf Gemini aufbaut. Ab März wird es „später in diesem Jahr“ für „eine begrenzte Anzahl von Android-Benutzern verfügbar sein, die sich für das Fitbit Labs-Programm in der mobilen Fitbit-App angemeldet haben“.

Google Bilder

Mit Ask Photos können Sie Fragen zu Fotos und Videos in Ihrer Bibliothek stellen. Es kann nicht nur Bilder finden, sondern auch Informationen extrahieren und Ihnen eine Textantwort geben. Unterstützt von Gemini gehören zu den Beispielanfragen „Zeigen Sie mir das beste Foto aus jedem Nationalpark, den Sie besucht haben“ und „Welche Themen haben wir für Lenas Geburtstagsfeiern?“ Es kann verwendet werden, um „die besten Fotos vorzuschlagen“ und Bildunterschriften für sie zu erstellen. „Ask Photos“ ist eine „Beta-Funktion“, die bald verfügbar sein wird, und Google kündigt bereits weitere Funktionen für die Zukunft an.

Gmail + Google Workspace

In Gmail für Android und iOS finden Sie oben rechts eine Gemini-Schaltfläche, mit der Sie das mobile Äquivalent des Seitenbereichs zur Eingabe vollständiger Eingabeaufforderungen aufrufen können. Gmail erhält außerdem kontextbezogene intelligente Antworten, die personalisiertere, detailliertere und genauere Vorschläge bieten. Dies wird im Juli in Workspace Labs veröffentlicht.

Auf der Cloud Next 2024 im April stellte Google außerdem eine Sprachansage vor, die mir bei der Eingabe von Gmail für Mobilgeräte helfen soll. Unterdessen verwandelt die Instant Polish-Funktion „grobe Notizen mit einem Klick in eine vollständige E-Mail“.

Im Desktop-Web ist der Seitenbereich in Gmail, Google Drive und Docs/Sheets/Slide verfügbar. Zwillinge kommen dann zu Google Chat, um Gespräche zusammenzufassen und Fragen zu beantworten.

Google Maps

Im vergangenen Februar kündigte Google an, dass Maps LLMs als Grundlage für den „Ask About“-Chatbot verwenden würde. Sie können damit Orte finden, die zu Ihrem Anspruch passen, und unterstützende Folgefragen stellen. Es basiert auf Details zu 250 Millionen Orten, Fotos, Videos und Bewertungen, die von Benutzern eingereicht wurden.

Chrom

Gemini Nano kommt zum Chrome-Desktopbrowser und unterstützt Browserfunktionen wie „Help Me Typing“. Es sollte auf den meisten modernen Laptops und Desktops verfügbar sein.

Google-Suche

Zusammen mit der Einführung von AI Overviews hat Google eine Vorschau auf eine Reihe kommender Funktionen gegeben, die zum ersten Mal in Search Labs verfügbar sein werden:

• Sie können einen Original-KI-Überblick nehmen und ihn „einfacher“ (nur ein paar Sätze) oder „aufschlüsseln“ (längere Antwort) gestalten.
• Mit den Funktionen zum mehrstufigen Denken können Sie eine komplexe Frage in einem Schritt stellen, anstatt sie in mehrere Abfragen aufzuteilen.
• Planung von Mahlzeiten und Ausflügen
• Durch künstliche Intelligenz organisierte Suchergebnisseite
• Videosuche: Nehmen Sie ein Video auf und stellen Sie eine Frage dazu

Android

Die Gemini Nano-Multimedia-App wird „später in diesem Jahr“ auf dem Pixel eingeführt und bietet Funktionen wie On-Device-/Offline-TalkBack-Beschreibungen und Echtzeit-Betrugswarnungen, die auf Anrufe hören, um Muster aufzudecken. Google wird später in diesem Jahr weitere Details bekannt geben.

Auf der I/O 2024 zeigte Google außerdem eine Vorschau darauf, wie sich Gemini auf Android bald in ein Overlay-Panel verwandeln wird, anstatt eine Vollbild-Benutzeroberfläche zur Anzeige von Ergebnissen zu öffnen. Neben der Beibehaltung des Kontexts können Sie so ein erstelltes Bild per Drag-and-Drop in eine Konversation ziehen. Für Gemini Advanced-Abonnenten können Benutzer Videos und kurze Dokumente in Gemini über die Schaltflächen „Dieses Video fragen“ bzw. „Dieses PDF fragen“ sehen. Dies werde „in den nächsten Monaten“ eingeführt. Darüber hinaus verwenden Sie Dynamic Suggestions Gemini Nano mit Multimodalität, um zu verstehen, was auf Ihrem Bildschirm angezeigt wird:

Wenn Sie Zwillinge beispielsweise in ein Gespräch über Pickleball einbeziehen, könnten Vorschläge wie „Finden Sie Pickleball-Clubs in meiner Nähe“ und „Pickleball-Regeln für Anfänger“ lauten.

Ein weiteres Add-on, das besonders auf Mobilgeräten nützlich sein wird, sind Gemini Extensions für Google Kalender, Aufgaben und Notizen. Auf diese Weise können Sie ein Foto von einer Seite mit mehreren bevorstehenden Terminen machen, die Gemini in Kalenderereignisse umwandeln kann. In den kommenden Monaten wird Utilities dem Gemini-Mobilgerät den Zugriff auf die Watch-App auf Android ermöglichen.

Wir warten auch darauf, dass die mobile Gemini-App diesen Sommer auf dem Pixel-Tablet erscheint.

Zwilling

Mit der Live-App können Sie ein wechselseitiges Gespräch mit Ihrem Zwilling führen. Um das Erlebnis natürlicher zu gestalten, sendet Ihnen die Gemini-App kurze Antworten, die Sie unterbrechen können, um neue Informationen hinzuzufügen oder um Erläuterungen zu bitten. Sie können aus 10 verschiedenen Stimmen wählen, wobei Google sich die Gemini Live-App als nützlich für die Vorbereitung auf ein Interview oder das Üben einer Rede vorstellt. Es wird in den „kommenden Monaten“ für Gemini Advanced-Mitglieder verfügbar sein.

„Später in diesem Jahr“ können Sie mit Gemini Live den Live-Kameramodus aktivieren. Zeigen Sie einfach auf etwas in der realen Welt und stellen Sie eine Frage dazu. Dies wird vom Projekt Astra unterstützt.

Gems sind maßgeschneiderte Versionen von Gemini, die es Ihnen ermöglichen, einen „Fitness-Kumpel, Sous-Chef, Programmierpartner oder Mentor für kreatives Schreiben“ zu haben. Gemini Advanced-Mitglieder können benutzerdefinierte Edelsteine ​​erstellen, während alle Benutzer Zugriff auf vorgefertigte Edelsteine ​​wie den Learning Coach haben.

Beschreiben Sie einfach, was Ihr Gem tun soll und wie er reagieren soll – zum Beispiel „Sie sind mein Lauftrainer, geben Sie mir einen täglichen Laufplan und seien Sie positiv, optimistisch und motiviert.“ Gemini übernimmt diese Anweisungen und optimiert sie mit einem Klick, um ein Juwel zu schaffen, das Ihren spezifischen Anforderungen entspricht.

Benutzer von Gemini Advanced erhalten außerdem einen „umfassenden Planer“, der nicht nur Aktivitäten vorschlägt, sondern auch Reisezeiten und Stopps sowie die Interessen der Personen berücksichtigt, um einen detaillierten Reiseplan zu erstellen. Gemini nutzt Ihre Gmail-Flug-/Reisedaten, Google Maps-Empfehlungen für Restaurants und Museen in der Nähe Ihres Hotels und sucht nach anderen Aktivitäten.