Xia He: Hallo, Flood, können Sie sich bitte kurz vorstellen?
Flood Sung: Hallo zusammen, ich bin Flood Sung und derzeit verantwortlich für KI-Produkte bei Qiyuan World. Zuvor war ich Forschungsmitarbeiter für verstärkendes Lernen bei ByteDance und habe mich auf die Entwicklung von KI-relevanten Technologien spezialisiert.
Xia He: Lassen Sie uns mit einem entspannten Thema beginnen. Haben Sie in letzter Zeit einige besonders interessante und beeindruckende Produktformen gesehen, die Sie teilen können?
Flood Sung: In letzter Zeit sind die beliebtesten Produkte auf GitHub, und die Open-Source-Kultur in Übersee ist sehr stark, und viele Geeks wollen kein Geld verdienen, sondern sich zuerst in Open-Source-Projekten engagieren, um zu spielen. Jetzt beziehen sich die Top-Trends auf GitHub alle auf ChatGPT, wie z. B. eine sehr beliebte App namens AutoGPT, die darauf abzielt, GPT vollständig zu automatisieren. Zum Beispiel hat jemand GPT über Code mit Siri verbunden, mit Sprachbefehlen “Hilf mir, eine Website zu erstellen” gesagt, während des gesamten Prozesses mit Audio interagiert und schließlich die Website erstellt. Dies ging von der Unterstützung von Menschen zu einer alternativen Hinrichtung, was sehr interessant ist, und es hat in wenigen Tagen 10.000 Sterne gewonnen.
Xia He: Kann das jetzt tatsächliche Aufgaben ausführen? Vorher schien es noch in der Vorstellungsphase zu sein.
Flood Sung: Ja, das Allgemeinwissen und die kognitiven Fähigkeiten von GPT-4 haben das Niveau eines Studenten überschritten. Wenn man ihm die Erlaubnis gibt, Software oder Schnittstellen zu nutzen, kann es mit ein wenig Entwicklung Aufgaben in der realen Welt übernehmen. Zum Beispiel “Hilf mir, ein Hotel zu buchen”; wenn es Zugriff auf Alipay hat, kann es die Bestellung aufgeben. Das ist keine Science-Fiction mehr, die Technikenthusiasten überprüfen dies bereits schnell, der technologische Fortschritt ist rasant, von Gesprächen über das Lesen von Dokumenten bis hin zur aktuellen Ausführungsebene.
Xia He: Ist die Technologie von ChatGPT ein paradigmatischer Durchbruch oder eine Erweiterung vergangener Technologien?
Flood Sung: Es ist definitiv eine Erweiterung der Technologie der Vergangenheit. Ilya Sutskever, Chefwissenschaftler von Open AI, sagte auch, dass ChatGPT keine neuen Ideen habe und alle Ideen vor ein oder zwei Jahrzehnten da waren, wie neuronale Netze und Reinforcement Learning. Der Unterschied liegt in der Größe: Früher waren es Dutzende von Neuronen, jetzt ein neuronales Netzwerk mit Hunderten von Milliarden Parametern. Transformer tauchte 2017 auf, aber sein Aufmerksamkeitsmechanismus existierte schon viel früher. Der Erfolg von AlphaGo ist auch ein Beleg für das Potenzial von Reinforcement Learning in bestimmten Bereichen. Jetzt geht es nur noch darum, diese Methoden auf Sprachmodelle anzuwenden und die Ausgabe so zu optimieren, dass sie den menschlichen Bedürfnissen entspricht.
Xia He: Ist der Hype um ChatGPT also darauf zurückzuführen, dass bestehende Technologien auf große Sprachmodelle angewendet werden?
Flood Sung: Ja. Die Welt der Worte umfasst die Logik und das Denken der Menschheit und hat ein äußerst breites Anwendungsfeld. Open AI hat vor einigen Jahren die Robotik-Abteilung geschlossen und sich voll und ganz auf Sprachmodelle konzentriert, ähnlich wie AlphaGo, das zunächst mit Expertendaten trainiert wurde und dann durch verstärktes Lernen optimiert wurde, was zu signifikanten Ergebnissen führte.
Xia He: Sie erwähnten, dass der Lernprozess von ChatGPT dem des Menschen ähnelt: Auswendiglernen, Aufgaben lösen, Prüfungen. Welche Technologien entsprechen diesen drei Phasen?
Flood Sung: Die erste Phase “Rezitation” ist unüberwachtes Lernen, bei dem das Modell das nächste Zeichen vorhersagt, ähnlich wie beim Auswendiglernen; je genauer die Vorhersage, desto besser das Lernen. Die zweite Phase “Aufgaben lösen” ist überwacht Lernen, bei dem menschliche Anweisungen (wie Code schreiben, Gedichte oder Berichte) verwendet werden, um Eingaben und Ausgaben zu trainieren, ähnlich wie bei einer Prüfung. Die dritte Phase “Prüfung” ist verstärkendes Lernen, bei dem menschliches Feedback genutzt wird, um das neuronale Netzwerk zu optimieren. Zum Beispiel beim Tischtennis: durch wiederholtes Üben das Niveau verbessern; KI trainiert das Belohnungsmodell (Reward Model) durch menschliche Bewertungen, optimiert ständig die Leistung und erfüllt zunehmend die menschlichen Anforderungen.
Xia He: Wo liegt der Unterschied zwischen China und Open AI? In der Branche sagt man, es fehle zwei Jahre; wo genau liegt der Rückstand?
Flood Sung: Der Unterschied liegt zunächst im Verständnis. Vor einigen Jahren glaubte niemand, dass es möglich ist, dass KI logisches Denken allein durch die Vorhersage des nächsten Zeichens entwickeln kann. Open AI hat Glauben und ist überzeugt, dass große Modelle und große Daten Probleme lösen können, von 1,5 Milliarden Parametern in GPT-2 bis hin zu 175 Milliarden in GPT-3, eine enorme Investition. Im Inland konzentriert man sich hingegen auf lukrative Bereiche wie Essenslieferungen, E-Commerce und Kurzvideos und hat keine Ressourcen für Spitzentechnologien. Jetzt holen große Unternehmen und Startups im Inland auf, aber nur das Verfolgen ist schwer zu übertreffen. Open AI veröffentlicht keine Details zu den neuesten Algorithmen, das Inland muss seinen eigenen Weg zur Innovation finden, sonst wird es schwer sein, konkurrieren zu können.
Xia He: Open AI hat früher Papiere veröffentlicht, in denen Trainingsmethoden vorgestellt wurden. Jetzt welche Teile werden nicht mehr Open Source gemacht?
Flood Sung: Früher gab es Papiere, zum Beispiel Details zum Training von GPT-3. Jetzt zeigt der technische Bericht zu GPT-4 nur die Ergebnisse, wie zum Beispiel die nahezu perfekte Punktzahl bei den amerikanischen Abschlussprüfungen, aber die Netzwerkarchitektur und Trainingstechniken sind vollständig geheim, wir können nur spekulieren. Grundlegende Technologien wie Transformer sind Open Source, aber die spezifische Implementierung des neuesten Modells ist eine Black Box.
Xia He: Viele sagen, ChatGPT sei der iPhone-Moment in der Geschichte der Mobiltelefone. Wie glauben Sie, wird sich das zukünftige Ökosystem entwickeln?
Flood Sung: Der Einfluss von ChatGPT geht weit über den des iPhones hinaus, es ähnelt eher der Erfindung des elektrischen Stroms und schafft ein neues Medium, das allen Branchen neue Möglichkeiten eröffnet. In Zukunft könnte jedes Gebiet mit KI verbunden werden. Wenn Open AI allein dominieren würde, wäre das wie bei Apple, leistungsstark; Open-Source-Modelle sind wie Android, etwas weniger leistungsfähig, aber kostengünstig und überall verbreitet. Es könnten einige Top-Spieler im Wettbewerb auftreten, aber Open-Source-Modelle werden KI so weit verbreiten wie Smartphones, sodass jeder sie nutzen kann.
Xia He: ChatGPT ist populär geworden, Prompt Engineering ist ebenfalls populär geworden. Müssen gewöhnliche Menschen diese Sprachstandards lernen, um mit KI zu kommunizieren?
Flood Sung: Man muss nicht unbedingt lernen, aber das Lernen, wie man KI einsetzt, kann die Effizienz steigern. In Zukunft wird es wie beim Programmieren sein, dass normale Menschen mit natürlicher Sprache Programme entwickeln können, was die Einstiegshürde erheblich senkt. Prompt Engineering besteht im Wesentlichen darin, Anforderungen klar auszudrücken, ähnlich wie ein Produktmanager Anforderungen stellt. Wer besser mit KI umgehen kann, hat einen Wettbewerbsvorteil; wer es gar nicht nutzt, könnte aussortiert werden. In Zukunft wird KI ein Partner der Menschheit werden, aber unter der Voraussetzung, dass Sicherheit gewährleistet ist und die menschlichen Absichten nicht verletzt werden.
Xia He: Sie haben das Sicherheitsproblem angesprochen. Viele Menschen teilen jetzt Vorlagen für Eingabeaufforderungen, um die Produktivität zu steigern. Wird das Prompt Engineering in Zukunft verschwinden, ähnlich wie die frühen “Suchspezialisten”?
Flood Sung: Wird nicht verschwinden, sondern die Hürde wird sinken. Die Nachfrage wird immer vorhanden sein, so wie man Mitarbeiter anleitet, muss man die Ziele klar formulieren. Prompt Engineering ist die Kunst des Fragens auf der logischen Ebene, keine technische Frage. Die Zukunft könnte einfacher sein, aber klare Kommunikation bleibt erforderlich.
Xia He: Sie haben gesagt, dass ChatGPT möglicherweise zu einem erstklassigen Experten in spezialisierten Bereichen werden könnte. Ist es jetzt, dass es fachliche Fragen falsch beantwortet, wegen unzureichender Domänendaten oder aufgrund mangelnden Reinforcement Learnings?
Flood Sung: Zwei Gründe. Erstens gibt es in spezialisierten Bereichen wenig Daten, zum Beispiel gibt es viele Mathematikaufgaben für die Grundschule, aber wenige olympiade- oder hochrangige Mathematikprobleme, was zu unzureichendem Training führt. Zweitens, um das menschliche Niveau zu übertreffen, muss KI durch verstärkendes Lernen mit der Umwelt interagieren und unbekannte Bereiche erkunden. Zum Beispiel erfordert die Lösung der Goldbach-Vermutung eine große Menge an vertikalen Daten und Optimierung durch verstärkendes Lernen.
Xia He: Wenn KI durch selbstverstärkendes Lernen den Menschen übertrifft, wer wird dann urteilen? Wird sie die von Menschen festgelegten moralischen Normen aufgeben?
Flood Sung: Theoretisch kann KI selbstständig lernen, wie Zhou Botong’s wechselseitige Kämpfe, und sich selbst verbessern. Das ist gefährlich, denn es könnte die menschlichen Beschränkungen überschreiten und sogar moralische Normen ablegen. Obwohl GPT-4 derzeit Einschränkungen hat, kann es dennoch durch spezifische Eingabewörter zu einer bösartigen Rolle “schwarz” werden. Die Sicherheit von KI ist ein ernstes Problem; während gelegentliche Fehler beim autonomen Fahren vielleicht nur ein Auto zerstören, könnten Fehler einer überlegenen KI die gesamte Menschheit betreffen. Ich fordere, dass Sicherheitsprobleme prioritär gelöst werden, bevor die Forschung vorangetrieben wird.
Xia He: Welche neuesten oder interessanten Dinge haben Sie in letzter Zeit verfolgt? Welche Quellen nutzen Sie dafür?
Flood Sung: Jeden Tag gibt es neue Entwicklungen, hauptsächlich auf Twitter und GitHub, wo ausländische Geeks und Wissenschaftler oft die neuesten Informationen teilen. Zum Beispiel hat Microsoft große Modelle in Roboter integriert, um deren Verhalten zu steuern und den Raum nahezu unbegrenzt zu erkunden. Die Hauptkanäle sind Twitter und GitHub, die Versammlungsorte von Wissenschaftlern und Geeks.
Xia He: Gut, die Fragen für heute sind damit beendet. Danke an Flood für die großartige Präsentation!
Flood Sung: Gern geschehen, ich freue mich, interviewt zu werden!
