Meta AI erstellt einen Algorithmus, der aus Sprache, Text und Vision gelernt werden kann

Metaplattformen Inc. Forscher der künstlichen Intelligenz haben den ihrer Meinung nach weltweit ersten hocheffizienten, selbstüberwachenden Algorithmus entwickelt, der KI in einer Vielzahl von Modalitäten trainieren kann, sei es Sprache, Sehen oder Text.

Der Algorithmus heißt data2vec. Meta sagte heute in einem Blogbeitrag, dass sie die Schaffung einer intelligenteren KI ermöglichen würde, die allgemeiner lernen und mehrere Aufgaben ausführen kann, einschließlich derer, die nicht vertraut sind.

Meta versucht, eine der großen Einschränkungen von zu lösen selbstgesteuertes Lernen, das es Maschinen ermöglicht, durch direkte Beobachtung der Umgebung zu lernen, im Gegensatz zu explizitem Unterrichten durch beschriftete Bilder, Text oder Audio. Obwohl selbstgesteuertes Lernen eine wesentliche Verbesserung ist, die es Computern ermöglicht, durch Beobachtung der Umgebung zu lernen, bleibt es aufgrund von Unterschieden in der Art und Weise, wie Algorithmen Bilder, Sprache und andere Modalitäten verwenden, schwierig zu skalieren.

Beispielsweise wird ein zum Lesen von Text verwendeter Algorithmus darauf trainiert, die Lücken in verschiedenen zufälligen Sätzen auszufüllen. Das Sprachmodell muss jedoch eine Liste von Grundlauten lernen, um alle fehlenden Laute in der Sprache einer Person vorherzusagen. In der Zwischenzeit werden Computer-Vision-Modelle normalerweise darauf trainiert, ähnliche Bilder an ein Farbbild anzuhängen, vielleicht von einer Kuh, und dasselbe Bild wird auf den Kopf gestellt, sodass es die beiden enger verbindet als mit einem nicht verwandten Bild von beispielsweise ein Delphin. .

KI-Algorithmen bieten auch unterschiedliche Einheiten für jede Modalität. Die Bilderkennung beinhaltet die Vorhersage von Pixeln oder visuellen Symbolen, während Text Wörter enthält und Sprache Modelle erfordert, um Geräusche von wissenschaftlichen Geräten vorherzusagen.

„Diese Diskrepanz ist ein erhebliches Hindernis für die Umsetzung von Fortschritten beim selbstgesteuerten Lernen auf breiterer Ebene“, sagten KI-Forscher von Meta. „Da ein leistungsstarker Algorithmus, der beispielsweise für das Bildverständnis entwickelt wurde, nicht direkt auf eine andere Modalität wie Text angewendet werden kann, ist es schwierig, mehrere Modalitäten mit der gleichen Geschwindigkeit voranzutreiben.“

data2vec überwindet dies, indem es KI-Modelle trainiert, ihre eigenen Darstellungen von Eingabedaten vorherzusagen, unabhängig davon, um welche Modalität es sich handelt.Durch die Konzentration auf diese Darstellungen anstelle der üblichen Wörter, Töne oder visuellen Symbole kann data2vec mit mehreren Arten von Eingaben arbeiten.

Meta sagte, es teste data2vec auf dem beliebten Computer-Vision-Benchmark ImageNet und stellte fest, dass es besser abschneide als jeder existierende Algorithmus. In Bezug auf Sprache ist es besser als Metas eigener wav2vec 2.0-Sprachselbststeuerungsalgorithmus, während es für Text in der GLUE-Testsuite getestet wurde und wie BERT, ein weiterer häufig verwendeter Benchmark, lief.

Auf Facebook Post, Mark Zuckerberg, Gründer und CEO von Meta, bezeichnete data2vec als einen der bisher aufregendsten Durchbrüche des Unternehmens im Bereich KI.

„Die Meta-KI-Forschung hat ein System entwickelt, das aus Sprache, Bild und Text lernt, ohne dass beschriftete Trainingsdaten erforderlich sind“, sagte Zuckerberg. „Menschen erleben die Welt durch eine Kombination aus Sehen, Hören und Worten, und Systeme wie dieses können eines Tages die Welt so verstehen, wie wir sie verstehen. All dies wird schließlich in eine AR-Brille mit KI-Assistent integriert, sodass es Ihnen beispielsweise dabei helfen kann, das Abendessen zuzubereiten, zu bemerken, wenn Sie eine Zutat vermissen, Sie zu ermutigen, die Hitze zu reduzieren oder komplexere Aufgaben zu erledigen.

Während der Entwicklung sagten die Meta-Forscher, dass data2vec ein großes Potenzial hat, um bei der Entwicklung einer neuen Art von KI-Modellen zu helfen, die lernen können, viele verschiedene Aufgaben selbst auszuführen, einschließlich solcher, die ihnen nicht vertraut sind. So wird die KI in ihren Trainingsdaten nicht nur Tiere erkennen können, denen sie begegnet ist, sondern auch neue Kreaturen, wenn man ihnen sagt, wie sie aussehen.

„Dies ebnet den Weg für allgemeineres selbstgesteuertes Lernen und bringt uns einer Welt näher, in der KI Videos, Artikel und Audio verwenden kann, um komplexe Themen wie Fußball oder verschiedene Arten des Brotbackens zu lernen“, sagten KI-Forscher von Meta .

Meta glaubt, dass das Potenzial von data2vec so groß ist, dass es Code und verschiedene vortrainierte Modelle mit der breiteren KI-Forschungsgemeinschaft teilt, damit andere auf seiner Arbeit aufbauen können.

Bild: Meta-KI