Meta hat die Veröffentlichung von Llama 3 bestätigt. Auf einer Veranstaltung in London gab Meta Details und den Veröffentlichungszeitraum für sein fortschrittliches KI-Modell bekannt. Wie TechCrunch berichtete, kündigten Führungskräfte von Meta an, in Kürze die nächste Version ihres Open-Source-Modells für große Sprachen zu veröffentlichen.
Laut „The Information“ wird Meta voraussichtlich zunächst eine abgespeckte Version von Llama 3 veröffentlichen, gefolgt von einem vollständigen Open-Source-Modell. Doch warum überhaupt eine abgespeckte Version? Wir halten die Aussage von „The Information“ für plausibel, da dies die Möglichkeit bietet, die Leistungsfähigkeit des vollständigen Modells bekannt zu machen.
Was wir über Llama 3 und seine Veröffentlichung wissen
Die Veröffentlichung von Llama 3 wird die Vormachtstellung des LLM-Giganten GPT 4 herausfordern, da es voraussichtlich das fortschrittlichste LLM im Open-Source-Bereich sein wird und wie Llama 2 in verschiedenen Modellen verfügbar sein wird. Nick Clegg,dent für globale Angelegenheiten bei Meta, sagte auf der Veranstaltung:
„Wir hoffen, innerhalb des nächsten Monats, genauer gesagt in kürzerer Zeit, mit der Markteinführung unserer neuen Produktreihe von Foundation-Modellen der nächsten Generation, Llama 3, beginnen zu können.“
Cleggs Aussage deutet eindeutig auf die Verfügbarkeit verschiedener Versionen von Llama 3 hin, wie er weiter hinzufügte
„Im Laufe dieses Jahres werden verschiedene Modelle mit unterschiedlichen Fähigkeiten und Einsatzmöglichkeiten auf den Markt kommen, und zwar schon sehr bald.“
Quelle: Techcrunch
Die Behauptung von The Information klingt plausibel, oder? Was wir bisher über Llama 3 wissen: Es wird in verschiedenen Versionen und Größen erscheinen, von kleinen bis hin zu sehr großen, voll funktionsfähigen Modellen wie Haiku, Claude und Gemini Nano bis hin zu Giganten wie GPT 4. Mehr wissen wir noch nicht, aber wir wissen sicher, dass es wie Llama 2 und Multimodel Open Source sein wird und sowohl Texte als auch Bilder verarbeiten kann.
Kritiker vergleichen Open Source mit geschlossenen Modellen
Llama ist zwar ein Open-Source-Modell, aber es ist keineswegs unausgereift. Wir wissen, dass Meta mit seinen Ressourcen undtronUnterstützung dahintersteht und dass Meta die Expertise externer Entwickler und Forscher einbeziehen möchte. Trotz der allgemeinen Beliebtheit von Open-Source-Modellen hegen einige Kritiker weiterhin Skepsis hinsichtlich ihrer Leistungsfähigkeit im Vergleich zu geschlossenen, privaten Modellen wie GPT-4. Sie haben ihre eigenen Gründe für diese Bedenken.
Das Argument beginnt mit den Ressourcen für den Aufbau riesiger Datensätze zum Trainieren von Modellen. Es wird behauptet, dass Modelle wie ChatGPT über umfangreiche Datensätze mit manuell annotierten Daten verfügen. Natürlich kann keine Maschine die menschlichen Fähigkeiten erreichen, aber kommen wir diesem Ziel näher? Das mag in den nächsten zwei Jahren der Fall sein, muss es aber nicht. Ein weiterer Grund ist die Verfügbarkeit. Das ist zwar ein berechtigter Einwand, doch die Geschichte der Technologiebranche hat gezeigt, dass kleinere Startups mit ihren sofort einsatzbereiten Lösungen große Konzerne in einigen Schlüsselbereichen manchmal übertreffen. Fakt ist jedoch, dass bei OpenAI Ingenieure mit Gehältern von über einer Million Dollar arbeiten.
Ein weiterer Kritikpunkt betrifft die Teamstruktur. Sie argumentieren, dass ein dezentraler Open-Source-Ansatz nicht mit den Leistungen zentralisierter Teams mithalten kann. Auch die Infrastruktur öffentlicher Cloud-Anbieter kann mit der von OpenAI und Google nicht mithalten, was Open-Source-Teams daran hindert, schnell inkrementelle Verbesserungen vorzunehmen. Insgesamt sprechen diese Gründe gegen Open-Source-Systeme. Doch wie wir wissen, steht hinter Llama, obwohl es Open Source ist, Meta, das es mit enormen Ressourcen unterstützt.
Meta investiert in GPUs
Bereits im Januar kündigte Mark Zuckerberg in einem Video an, dass sein Unternehmen eine massive Recheninfrastruktur mit 350.000 neuen H100-GPUs aufbaut. Rechnet man weitere GPUs hinzu, werden es fast 600.000 H100 sein. Diese Rechenleistung übertrifft die von OpenAI, die für das Training von GPT-4 genutzt wurde, deutlich. Allein für die KI werden Milliarden von Dollar investiert.
KI-Assistenten Meta AI antreiben und in eine Vielzahl von Produkten des gesamten App-Portfolios des Unternehmens integriert werden. Wird Llama 3 die Vormachtstellung von GPT-4 herausfordern? Betrachtet man die Erfolgsbilanz trac Vorgängers Llama 2, so bildete dieser das Rückgrat der fortschrittlichsten Open-Source-LLMs, wie beispielsweise Mistral aus Frankreich und einigen weiteren, die durch Anpassung und Optimierung von Llama 3 entstanden sind.
Einige von ihnen übertrafen sogar GPT 3.5 in der Leistung, sodass wir vermuten können, dass Llama 3 mit seinen fortschrittlichen Fähigkeiten für neue LLM-Produkte verwendet werden wird, die die Leistung von GPT 4 erreichen oder übertreffen werden, bei gleichzeitig reduzierten und gemeinsamen Trainingskosten, wodurch es mehr Menschen ermöglicht wird, sich zu beteiligen.
Der Wettbewerb wird hart werden, da die Open-Source-Community versucht, LLama 3 weiterzuentwickeln und wie schon zuvor eigene Lösungen zu präsentieren. Zudem veröffentlicht OpenAI in den nächsten Monaten GPT-5. Wir sind gespannt auf die spannende Zeit, die vor uns liegt.
