Microsoft möchte Windows zu einem KI-gestützten Betriebssystem machen und bringt Copilot+-PCs auf den Markt

Eine bevorstehende Rückruffunktion in Windows 11 könnte sich „merken“, auf welche Apps und Inhalte ein Benutzer vor Wochen oder sogar Monaten auf seinem Computer zugegriffen hat, und ihm beispielsweise dabei helfen, einen Discord-Chat zu finden, in dem er über Kleidung diskutiert, die er kaufen möchte. Benutzer können die Zeitleiste von Recall verwenden, um „zurückzuscrollen“, um zu sehen, woran sie in der jüngeren Vergangenheit gearbeitet haben, und in Dateien wie PowerPoint-Präsentationen einzutauchen, um Informationen anzuzeigen, die für ihre Suche relevant sein könnten.

Microsoft sagt, dass Recall Assoziationen zwischen Farben, Bildern und mehr herstellen kann, um Benutzern die Suche nach praktisch allem auf ihren Computern in natürlicher Sprache zu ermöglichen (ähnlich wie die Technologie des Startups Rewind); Entwickler können die Erinnerung verbessern, indem sie ihren Anwendungen kontextbezogene Informationen hinzufügen. Microsoft behauptet, dass alle mit Recall verbundenen Benutzerdaten privat bleiben und auf dem Gerät verbleiben und nicht zum Trainieren von KI-Modellen verwendet werden, was wichtig ist.

Hier mehr Von Microsoft: „Ihre Schnappschüsse bleiben lokal auf Ihrem Computer, Sie können einzelne Schnappschüsse in den Einstellungen anpassen und löschen oder sie jederzeit direkt über das Symbol in der Taskleiste anhalten.“ Filtern Sie Apps und Websites, damit sie nie gespeichert werden.

Bildbearbeitung und Live-Übersetzungen

Es gibt jetzt mehr KI in Windows als je zuvor und einige davon sind exklusiv für die neuen Copilot+-PCs verfügbar.

Eine neue Funktion namens Supersolution kann alte Fotos wiederherstellen, indem sie automatisch hochskaliert wird. Copilot kann jetzt Bilder analysieren, um Benutzern Ideen für kreative Kompositionen zu geben. Über eine Funktion namens Cocreator können Benutzer Bilder erstellen und das KI-Modell außerdem dem folgen lassen, was sie zeichnen, um das Bild zu ändern oder neu zu gestalten.

An anderer Stelle übersetzt Live Captions mit Untertiteln alle Audiodaten, die über einen Computer übertragen werden – sei es von YouTube oder einer lokalen Datei – in die Sprache der Wahl des Benutzers. Live-Übersetzungen werden zunächst etwa 40 Sprachen unterstützen, darunter Englisch, Spanisch, Mandarin und Russisch.

Eine separate, aber verwandte neue Funktion in Microsoft Edge bietet Echtzeit-Videoübersetzung auf Websites wie LinkedIn, YouTube, Coursera, Reuters, CNBC, Bloomberg und mehr. Diese Funktion soll in naher Zukunft verfügbar sein und unterstützt die Übersetzung von Spanisch ins Englische, Englisch ins Deutsche, Hindi, Italienisch, Russisch und Spanisch sowie die Übersetzung gesprochener Inhalte durch Synchronisation und Live-Untertitel.

Copilot und Zubehör

Team Copilot ist die neueste Erweiterung des wachsenden Copilot-Portfolios generativer KI-Technologien von Microsoft. Es lässt sich in Teams, die Videokonferenz-App des Unternehmens, integrieren, um die Verwaltung von Besprechungsagenden zu erleichtern und Notizen zu machen, die jeder Teilnehmer der Besprechung gemeinsam verfassen kann. Es erstreckt sich auf Loop und Planner, die Kollaborations- und Planungsplattformen von Microsoft, um Aufgaben zu erstellen und zuzuweisen, Fristen zu verfolgen und Teammitglieder zu benachrichtigen, wenn ihre Eingaben erforderlich sind.

In etwas verwandten Copilot-Neuigkeiten hat Microsoft (in privater Vorschau) Copilot-Erweiterungen eingeführt, die es Entwicklern ermöglichen, GitHubs eigenes Codegenerierungstool GitHub Copilot mit Apps und Fähigkeiten von Drittanbietern zu erweitern. Zu den Startpartnern gehören DataStax, Docker und LambdaTest; Die Erweiterungen werden auf dem GitHub Marketplace verfügbar sein, Entwickler können jedoch auch eigene Erweiterungen erstellen, um sie in ihre internen Systeme und APIs zu integrieren.

Copilot-Laufzeit in Windows

Funktionen wie Recall und Supersolution werden durch die Windows Copilot Runtime unterstützt, eine Sammlung von etwa 40 generativen KI-Modellen, die das bilden, was Microsoft als „neue Schicht“ von Windows bezeichnet. In Kombination mit Semantic Index, einem vektorbasierten System, das auf einem einzelnen Copilot+-PC nativ ist, ermöglicht die Windows Copilot Runtime die Ausführung von KI-gestützten Anwendungen – einschließlich Anwendungen von Drittanbietern –, ohne dass unbedingt eine Internetverbindung erforderlich ist.

„[The runtime] Besteht aus gebrauchsfertigen KI-APIs wie Studio-Effekten, Live-Untertiteln, OCR, Rückruf mit Benutzeraktivität und [more]Davuluri sagte am Dienstag, dass die App im Juni für Entwickler verfügbar sein wird.

Laut Microsoft wird CapCut, der beliebte Videoeditor des TikTok-Eigentümers ByteDance, die Windows Copilot Runtime und die dazugehörige neue Windows Copilot-Bibliothek, eine Reihe von APIs und KI-Entwicklungstools, verwenden, um seine KI-Funktionen zu beschleunigen. Meta wird die oben genannten Studioeffekte zu WhatsApp hinzufügen, um Funktionen wie Hintergrundunschärfe und Augenkontakt bei Videoanrufen anzubieten.

Verbessere Roboterbauer

Azure AI Studio, die Suite von Tools innerhalb des Azure OpenAI-Dienstes von Microsoft, die es Kunden ermöglicht, ein KI-Modell zu kombinieren und eine App zu erstellen, die über diese Daten „denkt“, wird es Entwicklern bald ermöglichen, Apps mithilfe von Pay-as-you-go-Inferenz-APIs zu erstellen – APIs, auf die Entwickler zugreifen und generative KI-Modelle, die in der Azure-Infrastruktur gehostet werden, optimieren können. Microsoft nennt dies das „As-a-Service-Modell“ und startet zunächst mit Modellen von Nixtla und Core42.

In der angrenzenden Copilot Studio-Produktsuite bringt Microsoft Copilot Agents auf den Markt, die das Unternehmen als KI-Bots beschreibt, die „auf bestimmte Rollen und Funktionen zugeschnittene Aufgaben autonom koordinieren können“. (Copilot Studio bietet Tools, um Copilot für Microsoft 365, den KI-gestützten „Copilot“ in Anwendungen wie Excel und Word, mit Daten von Drittanbietern zu verbinden.) Durch die Nutzung von Speicher- und Kontextwissen können Copilot-Agenten durch verschiedene Arten von Geschäftsabläufen navigieren. Aus den Kommentaren der Benutzer lernen und um Hilfe bitten, wenn sie auf Situationen stoßen, mit denen sie nicht umgehen sollen.

Snapdragon-Entwicklungskit

Es gibt ein neues Entwicklungskit von Qualcomm, das sich an Entwickler richtet, die Apps für Copilot+-PCs erstellen, die mit Arm-Chips ausgestattet sind

Das 899,99 US-Dollar teure Snapdragon Dev Kit für Windows – das ungefähr die gleiche Breite, Höhe und Länge wie Apples Mac Mini hat – beherbergt Qualcomms Snapdragon und viele E/A-Vorgänge. Das Dev Kit unterstützt Wi-Fi 7 und Bluetooth 5.4 und kann über seine verschiedenen USB-C- und HDMI-Anschlüsse bis zu drei 4K-Displays gleichzeitig mit Strom versorgen.

PHI-3

Microsoft hat mit Phi-3-vision eine Erweiterung der generativen KI-Modellfamilie Phi angekündigt, die allgemeine visuelle Analyse- und Argumentationsaufgaben durchführen kann, beispielsweise die Beantwortung von Fragen zu Diagrammen und Bildern. Das Modell kann sowohl Text als auch Bilder lesen und ist effizient genug, um auf einem mobilen Gerät ausgeführt zu werden.

Der Phi-3-vision ist in der Vorschau verfügbar, während die zuvor angekündigten Nur-Text-Gegenstücke des Modells – der Phi-3-mini, der Phi-3-small und der Phi-3-medium – jetzt allgemein verfügbar sind.

Partnerschaft mit der Khan Academy

Microsoft arbeitet mit der Khan Academy zusammen, um Zugang zur Cloud-Computing-Infrastruktur zu spenden, sodass die Khan Academy Pädagogen in den Vereinigten Staaten kostenlosen Zugang zu den KI-gestützten Tools der Khan Academy gewähren kann. Microsoft sagte am Dienstag, dass die beiden Unternehmen auch zusammenarbeiten werden, um Möglichkeiten zur Verbesserung von KI-Anwendungen für den Mathematikunterricht durch generative KI zu erkunden.

Wir starten einen KI-gesteuerten Newsletter! Abonnement Hier Sie erhalten sie ab dem 5. Juni in Ihren Posteingängen.