Wenn wir an künstliche Intelligenz denken, können die meisten von uns nicht leugnen, dass sie bereits ein grundlegender Bestandteil ihres Lebens ist. Das beispiellose Wachstum der künstlichen Intelligenz ermöglicht es uns, effizienter zu arbeiten, den Alltag leichter zu bewältigen und das Unmögliche möglich zu machen. Wenn wir Google Maps nach dem Weg fragen, ist künstliche Intelligenz im Spiel. Wenn wir Empfehlungen für neue Filme oder Serien auf Amazon Prime erhalten, ist künstliche Intelligenz im Spiel. Und natürlich ist auch künstliche Intelligenz im Spiel, wenn man Siri nach dem morgigen Wetter fragt.
Sie ist schon lang keine ferne Zukunftsvision mehr, sondern wird von Tag zu Tag wichtiger. Denk zum Beispiel an Züge: Es wird vorhergesagt, dass in einigen Jahren oder Jahrzehnten keine menschlichen Lokführer mehr nötig sind, weil künstliche Intelligenz diese Aufgabe übernehmen wird. Ein wenig einschüchternd, wenn du mich fragst, aber dennoch bringt künstliche Intelligenz unzählige Vorteile mit sich. Das steht außer Frage.
Einer dieser Vorteile ist, dass sie in der Lage ist, selbständig Texte zu generieren und zu schreiben und den Menschen bereits bei vielen Aufgaben zu helfen. Von der Erstellung von Inhalten bis hin zu automatisierten E-Mails, Briefen oder sogar Websites. Künstliche Intelligenz ist in der Lage, bereits jetzt qualitativ hochwertige Ergebnisse zu erzielen, die man manchmal nicht einmal von menschlich geschriebenen Texten mehr unterscheiden kann.
Vielleicht hast du schon von GPT-3 (von OpenAI auf den Markt gebracht) gehört, einem autoregressiven Sprachmodell, das Deep Learning einsetzt, um menschenähnliche Texte zu erstellen. Derzeit nutzen bereits mehr als 300 Apps GPT-3 und generieren damit durchschnittlich 4,5 Milliarden Wörter pro Tag.
Als eines der bisher größten Sprachmodelle wird GPT-3 nun durch ein neues Modell konkurriert, das sogenannte Jurassic-1 Language Model.
Was ist das Jurassic-1 Language Model?
Das Jurassic-1 Language Model könnte eines der größten KI-Modelle seiner Zeit sein und wurde von dem in Tel Aviv ansässigen Entwicklungsunternehmen für künstliche Intelligenz AI21 Labs entwickelt. Das Modell funktioniert als Anwendungsprogrammierschnittstelle (API) und ist seit August 2021 für Entwickler verfügbar.
Wofür wurde es entwickelt?
Yoav Shoham, Mitgründer und Co-CEO des Unternehmens, sagte, es sei dafür gedacht, dass jeder, ob Verleger, Studenten, Künstler, Geschäftsleute oder Forscher, sprachbasierte Anwendungen erstellen kann. Man könnte auch sagen, dass es für eine breite Nutzung zur Verfügung gestellt wird und die Vorherrschaft von OpenAI im Bereich „Verarbeitung natürlicher Sprache als Dienstleistung“ herausfordern soll. Mit sprachbasierten Anwendungen sind in diesem Zusammenhang Anwendungen wie virtuelle Assistenten, Chatbots, Inhaltsmoderation oder kreatives Schreiben gemeint.
AI21 Labs arbeitet seit der Gründung des Unternehmens im Jahr 2017 an der Entwicklung des Jurassic-1-Sprachmodells, das inzwischen über ein Vokabular von 250.000 lexikalischen Elementen verfügt und mit 178 Milliarden Parametern ausgestattet ist. Da AI21 Labs sagt, dass das Jurassic-1 Language Modeln „etwas größer“ als GPT-3 ist, könnte es, wie bereits erwähnt, leicht mit dem GPT-3-Modell konkurrieren.
Beide Sprachmodelle sind in der Lage dazu, effektiv geschriebene Sprache zu generieren, wie z. B. E-Mails, Website-Layouts oder Rezepte. AI21 betont jedoch, dass sein Modell für die Öffentlichkeit zugänglicher ist, da es kostenlos ist und von jedem genutzt werden kann, der das Jurassic-1 Language Model ausprobieren möchte. In der Mitteilung des Unternehmens heißt es, dass es sich zum Ziel gesetzt hat, die Art und Weise, wie Menschen lesen und schreiben, durch die Einführung intelligenter Maschinen als strategische Partner grundlegend neu zu gestalten.
Wie funktioniert das Jurassic-1-Language Model?
Das Jurassic-1 Language Model arbeitet, ähnlich wie das GPT-3-Modell, mit einem neuronalen Netzwerk, das auf einem Deep-Learning-Modell basiert. Es nutzt ebenfalls vorhandene Inhalte von Websites, Suchmaschinen oder anderen digitalen Quellen, um sich weiterzuentwickeln und besser zu werden. Anders als GPT-3 ist das Jurassic-1 Language Model nicht nur in der Lage dazu, menschenähnliche Texte zu generieren, sondern auch verschiedene komplexe Aufgaben zu lösen, z. B. Fragen zu beantworten, Texte zu klassifizieren und vieles mehr. Es ist außerdem das erste Modell, das Mehrwort-Token, d.h. Ausdrücke, Phrasen und benannte Entitäten, berücksichtigt. Dadurch benötigt das Jurassic-1 Language Model weniger Token, um eine bestimmte Textmenge zu repräsentieren, und kann seine Rechenleistung erheblich verbessern.
In der offenen Beta-Phase sind zwei Versionen des Jurassic-1 Language Model verfügbar, die sich vor allem durch ihre Größe unterscheiden: Das J1-Jumbo-Modell mit 178 Milliarden Parametern und das J1-Large-Modell mit 7,5 Milliarden Parametern. Obwohl es kleiner ist, kann es noch schneller arbeiten, ist aber insgesamt weniger leistungsfähig. Dennoch ist es für viele Anwendungsfälle sehr effektiv.
Beide Versionen können auf praktisch jede Sprachaufgabe angewendet werden, die Möglichkeiten sind also endlos.
Jurassic-1 Language Model vs. GPT-3?
Da das Jurassic-1 Language Model 178 Milliarden Parameter hat, ist es, wie bereits erwähnt, etwas größer als GPT-3. AI21 Lab behauptet, dass das Modell das größte und ausgefeilteste Sprachmodell ist, das jemals für den allgemeinen und öffentlichen Gebrauch freigegeben wurde.
Es kann 250.000 lexikalische Elemente erkennen, was fünfmal mehr ist als die Kapazität aller bisherigen Sprachmodelle. Und da diese Begriffe auch mehrere Wörter umfassen, verfügt das Tool über eine größere semantische Darstellung des menschlichen Gedächtnisses.
Das Jurassic-1 Language Model wurde außerdem mit 300 Milliarden Token von englischsprachigen Websites wie Wikipedia, Zeitungen, StackExchange oder OpenSubtitles trainiert. Damit ist es für potenzielle Nutzer bequemer, da sie ein benutzerdefiniertes Modell für die ausschließliche Verwendung mit nur einer Handvoll Trainingsbeispielen trainieren können, um genau zu sein mit 50-100 Beispielen. AI21 Labs behauptet auch, dass ihr Modell bei einem Test mit einer Benchmark-Suite gleich gut oder sogar besser als GPT-3 abgeschnitten hat. Die Leistung wurde bei einer Reihe verschiedener Aufgaben getestet, z. B. bei der Beantwortung akademischer und juristischer Fragen. Man kann sagen, dass es mehr als beeindruckend ist, wenn es um die Erkennung von Mustern oder menschlichem Sprachstil geht.
Das GPT-3-Modell von OpenAI gehört jedoch nach wie vor zu den bedeutendsten Sprachmodellen der künstlichen Intelligenz, die jemals veröffentlicht wurden. Es wurde im Mai 2020 veröffentlicht und ist in der Lage dazu, innerhalb eines Augenblicks beeindruckende und einzigartige menschenähnliche Texte zu erzeugen.
GPT-3 wurde auf der Grundlage von 570 GB an Daten aus dem Internet erstellt, darunter die gesamte Wikipedia, genau wie das Jurassic-1 Language Model.
Es ist nach wie vor das bei weitem größte bekannte neuronale Netz, das geschaffen wurde, und es ist in der Lage, ganze Texte zu generieren, auch wenn nur ein begrenzter Kontext vorliegt. Bei diesen Texten kann es sich um jede Art von Text handeln. Egal, ob du einen Aufsatz, Beiträge in sozialen Medien, Übersetzungen oder sogar Computercodes erstellen möchtest. Für eine intelligente Maschine dieser Größenordnung ist das überhaupt kein Problem. Sie kann sogar ganze Geschichten von Grund auf erstellen.
Was für viele eine technologische Innovation sein mag, wird von anderen als Bedrohung empfunden. Manche befürchten, dass die künstliche Intelligenz so mächtig werden könnte, dass der Mensch „überflüssig“ wird und durch Maschinen ersetzt wird.
Was hält die Zukunft für das Jurassic-1 Language Model bereit?
Sprachmodelle können bereits für jede beliebige Sprachaufgabe trainiert werden, und es steht außer Frage, dass künstliche Intelligenz die Art und Weise, wie wir lesen und schreiben, revolutionieren wird. Das Gleiche gilt natürlich auch für dieses Sprachmodell. Als eines der bisher größten Modelle wird das Jurassic-1 Language Model dem Bereich „Natural Languageprocessing-as-a-Service“ (Verarbeitung natürlicher Sprache als Dienstleistung) erheblichen Auftrieb geben, und da es auch für die Öffentlichkeit zugänglich gemacht wurde, wird die Erzeugung natürlicher Sprache bald noch mehr an Popularität gewinnen. Vielleicht wirst auch du früher davon Gebrauch machen, als du vielleicht dachtest.
