Das Xbox-Moderationsteam setzt auf KI, um eine Flut von Benutzerinhalten zu filtern – Ars Technica

Jeder, der in der Community-Moderation arbeitet, weiß, dass das Auffinden und Entfernen fehlerhafter Inhalte exponentiell schwieriger wird, da eine Kommunikationsplattform täglich Millionen von Benutzern erreicht. Um dieses Problem zu lösen, greift Microsoft nach eigenen Angaben auf KI-Tools zurück, um die Moderationsbemühungen von Xbox zu „beschleunigen“, sodass diese Systeme Inhalte automatisch zur menschlichen Überprüfung kennzeichnen können, ohne dass ein Bericht des Players erforderlich ist.

Microsoft Der neueste Xbox-Transparenzbericht-Das Unternehmen Dritter Überblick Bei der Durchsetzung ihrer Community-Standards-App ist sie die erste, die einen Abschnitt zum Thema „Stärkung der Inhaltsmoderation und Plattformsicherheit mit KI“ enthält. In diesem Bericht wird insbesondere auf zwei Tools hingewiesen, von denen das Unternehmen sagt, dass sie „uns eine größere Reichweite ermöglichen, die Fähigkeiten unserer menschlichen Moderatoren nutzen und die Gefährdung durch sensible Inhalte verringern“.

Microsoft gibt an, dass viele seiner Xbox-Sicherheitssysteme jetzt mit Power ausgestattet sind Community-Screening, ein Moderationstool der Microsoft-Tochter TwoHat. Von den „Milliarden menschlicher Interaktionen“, die das Community Sift-System dieses Jahr gefiltert hat, gab es laut Microsofts Bericht „mehr als 36 Millionen“ Xbox-Spielerberichte in 22 Sprachen. Das Community Sift-System wertet Spielerberichte aus, um zu sehen, welche mehr Aufmerksamkeit von einem menschlichen Moderator benötigen.

Dieses neue Filtersystem hatte jedoch keine erkennbaren Auswirkungen auf die Gesamtzahl der „reaktiven“ Durchsetzungsmaßnahmen (d. h. der Maßnahmen, die als Reaktion auf die Meldung eines Spielers ergriffen wurden), die Microsoft in den letzten Monaten ergriffen hat. Die 2,47 Millionen Durchsetzungsmaßnahmen im ersten Halbjahr 2023 lagen etwas unter den 2,53 Millionen Durchsetzungsmaßnahmen im ersten Halbjahr 2022. Diese Durchsetzungszahl stellt jedoch mittlerweile einen größeren Anteil der Gesamtzahl der Spielermeldungen dar, die geschrumpft ist 33,08 Millionen Anfang 2022. bis 27,31 Millionen Anfang 2023 (beide Zahlen liegen deutlich unter den 52,05 Millionen Spielermeldungen, die im ersten Halbjahr 2021 veröffentlicht wurden).

Der Rückgang der Spielermeldungen kann teilweise auf eine Zunahme „proaktiver“ Durchsetzungsmaßnahmen zurückzuführen sein, die Microsoft umsetzt, bevor ein Spieler die Möglichkeit hat, ein Problem zu melden. Um diesen Prozess zu unterstützen, sagt Microsoft, dass es verwendet wird Bletchleys Turing-Modell v3 für künstliche Intelligenz-Eine aktualisierte Version des Tools Das Debüt von Microsoft ist für 2021 geplant.

Laut Microsoft scannt dieses „visuelle Sprachmodell“ automatisch alle „vom Benutzer erstellten Fotos“ auf der Xbox-Plattform, einschließlich benutzerdefinierter Gamerpics und anderer Profilfotos. Bletchleys System nutzt dann sein „globales Wissen, um die Nuancen akzeptabler Bilder basierend auf Community-Standards auf der Xbox-Plattform zu verstehen“ und leitet alle verdächtigen Inhalte an eine Warteschlange zur menschlichen Moderation weiter.

Laut Microsoft hat das System von Bletchley im ersten Halbjahr 2023 zur Blockierung von 4,7 Millionen Bildern beigetragen, ein Anstieg von 39 Prozent gegenüber den vorangegangenen sechs Monaten, den Microsoft auf seine Investitionen in künstliche Intelligenz zurückführt.

Wachstum bei „nicht-realen“ Konten.

Diese halbautomatischen Fotoentfernungen werden jedoch von den 16,3 Millionen Durchsetzungsmaßnahmen in den Schatten gestellt, die sich laut Microsoft „auf die Erkennung von Konten konzentrieren, die manipuliert wurden oder auf unauthentische Weise verwendet werden“. Dazu gehören Konten, die von Betrügern, Spammern, Freund-/Follower-Verstärkern und anderen Konten verwendet werden, die „letztendlich ungleiche Wettbewerbsbedingungen für unsere Spieler schaffen oder ihre Erfahrungen beeinträchtigen“.

Die Maßnahmen gegen diese „gefälschten“ Konten haben seit letztem Jahr zugenommen, mit einem Anstieg von 276 Prozent gegenüber den 4,33 Millionen, die im ersten Halbjahr 2022 entfernt wurden. Die überwiegende Mehrheit dieser Konten (99,5 Prozent) wird entfernt, bevor der Spieler eine Chance hat. Melden Sie sie „häufig … bevor sie schädliche Inhalte zur Plattform hinzufügen können“, sagt Microsoft.

An anderer Stelle im Bericht sagt Microsoft, dass es immer noch die Auswirkungen seiner Entscheidung aus dem Jahr 2022 sieht, seine Definition von „vulgären Inhalten“ auf der Xbox-Plattform zu ändern, „um beleidigende Anspielungen, sexuelle Inhalte und groben Humor einzuschließen“. Diese Definition trug dazu bei, dass im ersten Halbjahr 2022 328.000 Durchsetzungsmaßnahmen gegen „vulgäre“ Inhalte ergriffen wurden, ein Anstieg von 236 Prozent gegenüber den rund 98.000 Entfernungen vulgärer Inhalte sechs Monate zuvor (was wiederum einem Anstieg von 450 Prozent gegenüber den sechs Monaten davor entsprach). ). Dennoch rangiert die Durchsetzung vulgärer Inhalte auf der Liste der Arten von Xbox-Verstößen immer noch deutlich hinter altmodischer Obszönität (886.000 Durchsetzungsmaßnahmen), Belästigung oder Mobbing (853.000), „sexuellen Inhalten für Erwachsene“ (695.000) und Spam (361.000).

Der Bericht von Microsoft enthält auch schlechte Nachrichten für Spieler, die auf eine Sperre oder Sperre hoffen; Nur etwa 4,1 Prozent der über 280.000 Fallgutachten wurden im ersten Halbjahr 2023 zurückgegeben. Das sind knapp 6 Prozent der 151.000 Einsprüche, die im ersten Halbjahr 2022 erfolgreich waren.

Seit dem in diesem neuesten Transparenzbericht abgedeckten Zeitraum hat Microsoft ein neues standardisiertes System von acht Verstößen eingeführt, das eine gleitende Strafskala für verschiedene Arten und Häufigkeiten von Verstößen festlegt. Es wird interessant sein zu sehen, ob der nächste geplante Transparenzbericht eine Änderung des Spielerverhaltens oder der Ausführung dieser neuen Regeln zeigt.