Ich spiele gerne mit ChatGPT und versuche, die Ergebnisse in einen Kontext zu stellen, der die Möglichkeiten und Grenzen aufzeigt, aber auch deutlich macht, in welchen Kontexten dieses Programm gut eingesetzt werden kann.
ChatGPT hat seine Schwächen, an denen es zu drehen und zu schrauben gilt, da es sich um ein lernendes System handelt, hinter dem lernende Menschen stehen. Trotzdem ist es interessant zu sehen, was ChatGPT leisten kann, wenn die richtigen Fragen gestellt und die richtigen Überlegungen angestellt werden.
In Gesprächen mit anderen oder von Leuten in sozialen Netzwerken habe ich oft Kommentare gelesen, die in folgende Richtungen gingen:
ChatGPT funktioniert nicht, weil es
- Dinge erfindet, die so nicht stimmen.
- keine Referenzen angibt, ich also nicht nachvollziehen kann, warum es mir dieses Ergebnis ausgibt.
- mir jedes Mal eine andere Antwort auf die gleiche Frage gibt.
- Dinge wie ein Papagei nur nachplappert.
- oft schwer zu lesen ist.
- …
Bevor wir uns den Fragen widmen, gibt es erstmal eine stark vereinfachte Zusammenfassung dessen, was hinter ChatGPT steckt. Es geht dabei immer um Sprache innerhalb einer riesige Datenbasis, die mit Algorithmen versehen wird. Am Ende soll eine sinnvolle Konversation mit einer Maschine möglich werden.
In ChatGPT ist GPT enthalten, was für Generative Pre-trained Transformer steht. Dabei handelt es sich zunächst im Prinzip um ein so genanntes Large Language Modell, das Sprache in Nullen und Einsen umwandelt und sie so für Computer verständlich und verarbeitbar macht.
Das G steht für „generativ„, d.h. vereinfacht ausgedrückt arbeitet das Programm mit Variationen bekannter Modelle und versucht durch verschiedene Wahrscheinlichkeitsberechnungen das wahrscheinlichste Ergebnis zu ermitteln. Hinzu kommen eingebaute „Zufälle“, so dass auch Ergebnisse mit anderen Wahrscheinlichkeiten entstehen und somit am Ende auch ein anderer Text herauskommt.
Das P steht für Pre-Trained und bedeutet überwachtes Lernen, bei dem durch Zustimmung oder Ablehnung eine bestimmte Qualität erreicht wird. Es gibt Algorithmen, die mehrere Wahrscheinlichkeiten berechnen und durch Zustimmung (true, false) immer besser werden.
T für Transformer bedeutet, dass hierbei aus vorgegebenen Strings rechnerisch eine neue Zeichenkette entstehen kann. So ist es beispielsweise möglich, aus Texten Bilder zu erzeugen und umgekehrt, oder Texte in kürzester Zeit sinnvoll zusammenzufassen oder zu ergänzen.
Nun ist aber auch Chat in ChatGPT enthalten. Das Modell wurde so geschult, dass es die Anfrage analysiert, erkennt, was wir wollen und darauf aufbauend eine Antwort generiert, die einem sprachlichen Frage-Antwort-Modell entspricht. Neu im Vergleich zu Chatbots ist jedoch, dass ChatGPT nicht über vorgefertigte Antworten verfügt, sondern diese aus der Gesamtheit der Daten zusammensetzt.
Nachdem nun grundlegende Begrifflichkeiten und Arbeitsweisen angerissen sind, folgen hier meine Fragen mit den Antworten von ChatGPT-X und einer kleinen Einordnung im Ergebnis.
Ich: ChatGPT funktioniert nicht weil …
ChatGPT-X: es technische Probleme gibt. Es könnte sein, dass die Server überlastet sind oder es ein Problem mit der Internetverbindung gibt. Es könnte auch sein, dass das System gewartet oder aktualisiert wird. Es ist auch möglich, dass es ein Fehler im Programmcode gibt, der dazu führt, dass ChatGPT nicht ordnungsgemäß funktioniert.
Ergebnis: Wie zu erwarten ist erstmal die technische Betrachtungsweise, warum aus Sicht von ChatGPT (hier ChatGPT-X auf Basis von GPT 3.5) dieses nicht funktioniert. Also habe ich die Frage angepasst.
Ich: ChatGPT funktioniert für meine Fragen nicht, weil …
ChatGPT-X: es sein kann, dass die Fragen zu komplex oder unklar formuliert sind. ChatGPT ist ein KI-Modell, das auf vorherigen Daten trainiert wurde und möglicherweise nicht über das spezifische Wissen oder die Informationen verfügt, um bestimmte Fragen zu beantworten. Es könnte auch sein, dass das Modell Schwierigkeiten hat, den Kontext der Frage zu verstehen oder dass es keine ausreichenden Informationen gibt, um eine präzise Antwort zu generieren. In solchen Fällen kann es hilfreich sein, die Frage genauer zu formulieren oder alternative Quellen für Informationen zu nutzen.
Ergebnis: Darüber hinausgehende Fragen oder Fragen, die Spezialwissen erfordern, das sich in geschlossenen Containern (passwortgeschützt, hinter Bezahlschranken, im Intranet etc.) befindet, können für die Berechnung der Antwort nicht verwendet werden. Dadurch fehlen oft die fachspezifischen Informationen für eine genaue Beantwortung von Fragen.
Ich: Warum kannst du keine Referenzen angeben?
ChatGPT-X: Als KI-Modell basiere ich auf einem umfangreichen Training mit großen Mengen an Textdaten. Während des Trainingsprozesses wird das Modell darauf optimiert, menschenähnliche Antworten zu generieren, basierend auf dem Muster und dem Kontext der Eingabe. Ich habe jedoch keinen direkten Zugriff auf externe Quellen oder die Fähigkeit, auf spezifische Referenzen zu verweisen.
Es ist wichtig zu beachten, dass meine Antworten auf generischem Wissen und allgemeinen Informationen basieren, die während des Trainingsprozesses erlernt wurden. Obwohl ich mein Bestes gebe, um genaue und hilfreiche Antworten zu liefern, können meine Antworten nicht als verbindliche oder verifizierte Informationen betrachtet werden. Es wird immer empfohlen, spezifische Informationen von vertrauenswürdigen Quellen zu überprüfen.
Ergebnis: Anders als Suchmaschinen, die mit wenig Intelligenz einfach Begriffe suchen, die sie indexiert haben, nimmt ChatGPT die in natürlicher Sprache formulierte Frage auf und interpretiert sie. Danach errechnet das Modell die wahrscheinlichste Antwort auf die Frage und stückelt sie mehr oder weniger zusammen und zwar basierend auf Muster und Kontext, dem sie die Anfrage zugeordnet hat. In diesem Zusammenhang sind die ursprünglichen Quellen längst verloren gegangen und eben nur Teil des gesamten Textcorpus.
Es gibt Tools, die auf Basis von GPT 3.5 eine Conversationsoberfläche haben aber auch parallel auf das Internet zugreifen können. Zudem bietet ChatGPT Plus (Bezahlenden) die Option, Funktionen über sogenannte PlugIns zu erweitern. Eine sehr umfangreiche Liste mit PlugIns gibt es bei Blogmojo.
Wenn man weiß, dass aufgrund des Modells Antworten nach Wahrscheinlichkeiten berechnet werden, dass genau dieses Wort dem anderen folgt, ist klar, dass dabei Halluzinationen – also erfundene Falschantworten – entstehen. Für eine richtige Antwort ist das Modell gar nicht ausgelegt, d.h. die so entstandenen Fakten werden nicht gegen real existierende Dokumente gegengeprüft.
Im Gegensatz zu Suchmaschinen, die mit wenig Intelligenz einfach nach Begriffen suchen, die sie indexiert haben, nimmt ChatGPT die in natürlicher Sprache formulierte Frage auf und interpretiert sie. Das Modell berechnet dann, wie die Frage am ehesten zu beantworten ist, und gruppiert die Antworten je nach Muster und Zusammenhang, in den die Frage eingebettet ist. Dabei sind die ursprünglichen Quellen längst verloren gegangen und nur noch ein Teil des gesamten Textkorpus.
Es gibt Tools, die auf Basis von GPT 3.5 eine Konversationsoberfläche haben, aber auch parallel auf das Internet zugreifen können. Zusätzlich bietet ChatGPT Plus (kostenpflichtig) die Möglichkeit, über sogenannte PlugIns die Funktionalität zu erweitern. Eine sehr umfangreiche Liste mit PlugIns gibt es bei Blogmojo.
Wenn man weiß, dass das Modell Antworten nach Wahrscheinlichkeiten berechnet, d.h. dass genau dieses Wort auf das andere folgen muss, ist es nur allzu verständlich, dass dies zu Halluzinationen, d.h. zu erfundenen falschen Antworten führt. Das Modell ist überhaupt nicht darauf ausgelegt, Fakten als solche zu erkennen oder die generierten Fakten mit real existierenden Dokumenten zu vergleichen.
Ich: Warum sind deine Antworten manchmal so schwer verständlich?
ChatGPT-X: Es tut mir leid, wenn meine Antworten manchmal schwer verständlich sind. Als KI-Modell basiere ich auf einem Training mit großen Mengen an Textdaten, und manchmal kann es vorkommen, dass meine Antworten komplex oder unklar formuliert sind. Dies kann auf verschiedene Faktoren zurückzuführen sein, wie zum Beispiel die Art und Weise, wie die Daten im Training gesammelt wurden oder die Vielfalt der Sprachmuster, die im Training abgedeckt wurden.
Ich werde kontinuierlich weiterentwickelt und verbessert, um meine Antworten verständlicher und präziser zu machen. Feedback von Benutzern wie Ihnen ist dabei äußerst wertvoll, um meine Leistung zu verbessern. Wenn Sie spezifische Fragen haben oder eine klarere Antwort wünschen, stehe ich Ihnen gerne zur Verfügung.
Ergebnis: Die Form der Wortstellung, die Formulierung und damit die Verständlichkeit ergeben sich aus den Wahrscheinlichkeiten, die das Modell berechnet. Grundlage sind unter anderem Texte aus dem Gutenberg-Projekt, das urheberrechtsfreie Texte zur Verfügung stellt. Nun, diese stammen aus einer Zeit, in der die Sprache noch „krummer“ war und entsprechen nicht mehr dem, was wir heute als klar, präzise und gut lesbar bezeichnen würden.
Die Antworten auf ChatGPT-X zeigen jedoch, warum ChatGPT einerseits Papagei ist, andererseits aber auch nicht. Letztlich plappert das Programm das nach, was man ihm vorgibt, mit den Inhalten und Strukturen, die die Textbasis enthält. Aber im Gegensatz zu einem Papagei, der die Antworten zufällig und damit sinnlos oder auf ein Schlüsselwort ausgerichtet wiedergibt, berechnet das Modell hinter der „künstlichen Intelligenz“, welcher Antwortbeginn auf die gestellte Frage am wahrscheinlichsten ist und fügt dann weitere Begriffe hinzu, die im Kontext der Frage am wahrscheinlichsten sind.
Ich: Warum sind deine Antworten auf die gleiche Frage niemals gleich?
ChatGPT-X: Als KI-Modell basiere ich auf einem sogenannten „generativen“ Ansatz, bei dem ich versuche, für jede Frage eine einzigartige und kohärente Antwort zu generieren. Dies bedeutet, dass meine Antworten auf die gleiche Frage variieren können, je nachdem, wie das Modell den Kontext interpretiert und welche Informationen es als relevant erachtet.
Es gibt mehrere Gründe, warum meine Antworten variieren können:
- Zufälligkeit: Bei der Generierung von Text können zufällige Elemente eingeführt werden, um Vielfalt und Variation in den Antworten zu gewährleisten.
- Kontextabhängigkeit: Meine Antworten basieren auf dem Kontext der Frage und können sich ändern, wenn sich der Kontext leicht ändert oder wenn zusätzliche Informationen bereitgestellt werden.
- Trainingsdaten: Meine Antworten basieren auf den Mustern und Informationen, die während des Trainingsprozesses gelernt wurden. Wenn verschiedene Beispiele im Training unterschiedliche Antworten auf die gleiche Frage enthalten, kann dies zu Variationen in meinen Antworten führen.
Es ist wichtig zu beachten, dass ich mein Bestes gebe, um genaue und hilfreiche Antworten zu liefern. Wenn Sie jedoch spezifische Informationen oder eine konsistente Antwort auf eine Frage benötigen, empfehle ich Ihnen, zusätzliche Quellen zu konsultieren oder die Frage präziser zu stellen, um eine spezifischere Antwort zu erhalten.
Ergebnis: ChatGPT arbeitet nicht deterministisch, d.h. ähnlich einem Flussdiagramm, bei dem es zwar Ja-Nein-Optionen gibt, denen man bis zum Ergebnis folgen kann, die aber bei gleicher Fragestellung immer den gleichen Weg aufzeigen.
Suchmaschinen und Datenbanken mit gezielten Suchabfragen sind daher für Faktenabfragen besser geeignet als ChatGPT mit seinem generativen Ansatz.
Kennt ihr weitere Argumente oder Fragen, welche Schwächen von ChatGPT aufzeigen, die zu einer Ablehnung führen? Gerne dazu in den Kommentaren.
Beitragsbild: Nach meinen Vorgaben AI-generiertes Bild von dreamlike.art – Young girl interacting with an artifical intelligent robot in a library. Prompted by Bibliotheksbubble.
Disclaimer: Die von mir formulierten Textstellen (außer den Fragen) sind nochmal mit Deepl Write auf bessere Lesbarkeit geprüft worden. Ich hoffe, es hat geholfen.
Meine erste Frage, wenn irgendjemand mit „ChatGPT ist lächerlich, weil…“ anfängt, ist: welches Modell hast du genutzt? 3.5 oder 4?
Es ist immer 3.5. dann ziehe ich mein Handy und sage „jetzt probieren wir dieselbe Aufgabe mal mit 4“
Ich habe promovierte Philosophinnen weinen sehen. Je intelligenter und überheblicher die Anfangspositiion, desto mehr Verstörung darüber, wie viel besser die 4er Version mit komplexeren Aufgaben zurande kommt. Die Leute werden dann sehr schnell sehr nachdenklich.
Ja, der Überraschungsmoment bei GPT 4.0-basierten Modellen ist groß. Im Moment habe ich nur regulären Zugang zu 3.5. Ich weiß aus kurzen Tests mit 4.0, dass die Antworten dort ganz anders aussehen, aber weiterhin den grundsätzlichen Regeln von ChatGPT und generativen LLM folgen.
Die Version habe ich daher, wo immer es notwendig war, auch angegeben. – Gerade bei den Spielereien „Fragen an ChatGPT rund um Bibliotheken“ freue ich mich schon darauf, später den offsichtlichen Qualitätssprung von 4.0 und ggf. höher zeigen zu können.
Der Text selbst ist für mich eine erste Einordnung gewesen, um Grenzen deutlich definieren und begründen zu können.