AI Prompt Engineer ist in aller Munde und eine Einzelperson kann bis zu 335.000 US-Dollar pro Jahr – ohne einen Abschluss in Computertechnik oder fortgeschrittene Programmierkenntnisse. Große Sprachmodelle (LLMs) wie ChatGPT und Bard sind leistungsstark, aber ihre Leistungsfähigkeit lässt sich am besten von Personen nutzen, die über Fachwissen in ihrer Funktionsweise verfügen. „So wie alles im Leben“, witzelte ein Bewerber für die Stelle. Große Unternehmen stellen Mitarbeiter ein, um LLMs sinnvoll zu nutzen und das Beste aus der KI-Technologie herauszuholen. Diese Jobs könnten für schnelle Ingenieure mit allgemeiner Erfahrung oder für Personen mit eher domänenspezifischen Fähigkeiten, beispielsweise in den Bereichen Finanzen, Gesundheitswesen oder Recht, gedacht sein. Hier finden Sie wichtige Tipps für Aspiranten.
Eine aktuelle Forschungsarbeit der Stanford University in Zusammenarbeit mit der University of California, Berkeley, und dem Forschungsunternehmen Samaya AI unterstreicht die Bedeutung von Prompt Engineering zur Verbesserung der Leistung von KI-Modellen. Die Studie zeigt, dass die Länge der Eingabeaufforderungen an KI-Modelle ihre Fähigkeit, Befehle genau auszuführen, erheblich beeinflusst. Das Verständnis dieser wichtigen Informationen kann zu wirkungsvolleren Interaktionen mit KI führen, insbesondere in der Finanzbranche, wo große Finanzinstitute KI-Forscher mit Gehältern von über 300.000 US-Dollar einstellen, um die Fähigkeiten von KI-Bots zu erkunden.
Die Herausforderung der Eingabeaufforderungslänge bei KI-Modellen
Die Forschung weist darauf hin, dass Sprachmodelle, die hauptsächlich auf Transformers basieren, mit langen Sequenzen zu kämpfen haben, was zu Schwierigkeiten bei der Verarbeitung langer Eingabeaufforderungen führt. In diesem Zusammenhang ist das „Kontextfenster“ eines Sprachmodells von entscheidender Bedeutung, das bei der Generierung von Antworten Wörter berücksichtigt, die einen Schlüsselbegriff umgeben. Die Studie dent eine „charakteristische U-Kurve“ in der Genauigkeit von Sprachmodellen, bei der Informationen, die näher an der Mitte einer Eingabeaufforderung liegen, tendenziell ignoriert werden, was sich auf die Leistung des Modells auswirkt. Dies bedeutet, dass die Informationen am Anfang und am Ende von Eingabeaufforderungen zwar immer noch nützlich sind, wichtige Daten in der Mitte jedoch möglicherweise übersehen werden.
Die Grenzen von Transformatoren überwinden
Die schlechte Skalierung von Transformers auf lange Sequenzen stellt eine Herausforderung für die schnelle Entwicklung dar. Die Vergrößerung des Kontextfensters, die Meta-Wissenschaftler mithilfe der Positionsinterpolation untersucht hatten, scheint eine Lösung zu sein. Die Stanford-Studie zeigt jedoch, dass die Ergebnisse eine „nahezu überlagerte“ Kurve zeigen, wenn die volle Eingabeaufforderung die Kapazität des Fensters überschreitet, was auf eine begrenzte Verbesserung der Modellleistung hinweist.
Finanzinstitute nutzen KI-Forschung
Über akademische Kreise hinaus investieren führende Finanzinstitute aktiv in die KI-Forschung, um die Fähigkeiten von KI-Bots in ihren Betrieben zu erkunden. Bloomberg entwickelt derzeit BloombergGPT und stellt mehrere leitende KI-Forscher mit Gehältern von über 300.000 US-Dollar ein. JPMorgan erhöht außerdem die Einstellung von KI-fokussiertem Personal sowohl für Produktions- als auch für Forschungsfunktionen erheblich und legt dabei besonderen Wert auf die Entwicklung seines Finanzberatungs-Bots IndexGPT. Um in diesen Rollen erfolgreich zu sein, müssen Kandidaten die Bedeutung einer zeitnahen Entwicklung und deren Auswirkungen auf die Leistung von KI-Modellen verstehen.
Die Rolle von KI-Prompt-Ingenieuren im Finanzwesen
Prompt Engineering birgt ein enormes Potenzial in der Finanzbranche, wo KI-Bots erhebliche Auswirkungen auf Arbeitsabläufe, Risikomanagement und Kundenservice haben können. Durch die Optimierung von Prompt-Strukturen können Finanzinstitute die Fähigkeiten von KI-Bots verbessern, Daten genau zu analysieren und zu verarbeiten, was zu fundierteren Entscheidungen und besseren Kundenerlebnissen führt.
Verwendung von Unterüberschriften für ein wirkungsvolles Prompt-Engineering
1. Den Einfluss der Eingabeaufforderungslänge verstehen: Die Stanford-Studie beleuchtet, wie Eingabeaufforderungen die Leistung von KI-Modellen beeinflussen, und fordert Eingabeaufforderungsingenieure dazu auf, ein Gleichgewicht zwischen relevanten Informationen und der Kürze der Eingabeaufforderungen zu finden.
2. Die Herausforderung von Transformern und dem Kontextfenster: Die Einschränkungen von Transformers bei der Handhabung langer Sequenzen stellen erhebliche Herausforderungen für das Prompt Engineering dar, weshalb es entscheidend ist, die Größe des Kontextfensters für effektive KI-Interaktionen zu optimieren.
3. Das U-Kurven-Phänomen: Die Forschung deckt das U-Kurven-Muster der Genauigkeit in Sprachmodellen auf und unterstreicht die Notwendigkeit, kritische Informationen außerhalb der Mitte der Eingabeaufforderungen zu platzieren, um die KI-Leistung zu verbessern.
4. Überwindung des Transformer-Dilemmas: Während die Vergrößerung der Kontextfenstergröße vielversprechend erscheint, zeigt die Studie die potenziellen Einschränkungen auf, wenn Eingabeaufforderungen die Kapazität des Fensters überschreiten, was innovative Ansätze für die Eingabeaufforderungsentwicklung erforderlich macht.
5. KI-Forschung in der Finanzbranche: Finanzinstitute setzen auf KI-Forschung und stellen hochrangige KI-Forscher mit wettbewerbsfähigen Gehältern ein, um die Fähigkeiten von KI-Bots zu erforschen, insbesondere zur Verbesserung der Finanzberatung und des Risikomanagements.
6. Das Potenzial von KI ausschöpfen : Durch den Einsatz von wirkungsvollem Prompt Engineering kann die Finanzbranche KI-Bots nutzen, um Arbeitsabläufe zu rationalisieren, die Risikobewertung zu optimieren und den Kundenservice zu verbessern, was zu mehr Effizienz und Wettbewerbsfähigkeit beiträgt.
Prompt Engineering ist ein zentraler Aspekt der KI-Interaktionen und hat erhebliche Auswirkungen auf die Leistung von Sprachmodellen. Da Finanzinstitute weiterhin in die KI-Forschung investieren, wird die Optimierung von Prompt-Strukturen immer wichtiger, um das volle Potenzial von KI-Bots auszuschöpfen. Fachleute können die KI-Technologie nutzen, um die Finanzbranche zu verändern und in einer sich schnell entwickelnden digitalen Landschaft größeren Erfolg zu erzielen, indem sie die Herausforderungen und Chancen des Prompt Engineering verstehen.
Worte der Vorsicht
Denken Sie über einen Kurswechsel mitten im Studium nach? Jemand warnte davor, dass es noch zu früh sei, um zu sagen, ob ein Job als Ingenieur mit sofortiger Wirkung ausdauernd und langfristig vielversprechend sei. Erinnern Sie sich an die Zeit vor nicht allzu langer Zeit, als jeder im Silicon Valley von seinen „traditionellen“ Tech-Jobs absprang, um in Krypto, NFTs, Web 3.0 und das Metaverse einzusteigen? Viele dieser Jobs haben nicht geklappt, und schnelle Jobs im Ingenieurwesen könnten auf die gleiche Weise enden. KI wird durch Optimierungen von KI-Entwicklern immer intelligenter und wird in Zukunft bald in der Lage sein, selbst Eingaben zu machen, wodurch die Notwendigkeit vieler Eingaben durch Menschen entfällt. AutoGPT geht bereits in diese Richtung.
Im Laufe der Zeit könnte Prompt Engineering an Neuheit verlieren, sodass es weniger wahrscheinlich ist, dass wir „Experten“ auf diesem Gebiet benötigen. Es ist auch durchaus möglich, dass die gesamte KI-Branche Schurken hervorbringt – wie bei allen Dingen, bei denen es um Wettbewerb geht und bei denen viel auf dem Spiel steht – und in sich zusammenfällt. Seien Sie also vorsichtig bei Ihren Lebensentscheidungen.
