Warum gibt ein Chatbot unterschiedliche Antworten auf dieselbe Frage?
Ein Chatbot gibt auf dieselbe Frage unterschiedliche Antworten, weil er jede Antwort erzeugt, indem er aus wahrscheinlichen nächsten Wörtern auswählt. Diese Auswahl enthält meist ein Zufallselement. Er ruft nicht eine einzelne gespeicherte Antwort ab.
Stellen Sie sich das fiktive Architekturbüro Fairline Architects mit 30 Beschäftigten vor. Ein Partner bittet den Büroleiter Rowan, drei Dinge zu erklären, bevor das Büro einen KI-Assistenten einführt. In Rowans Notizen steht: 'zweimal nach den Regeln für genehmigungsfreie Bauvorhaben gefragt, zwei unterschiedliche Antworten bekommen'; 'es verwies auf die Nummer eines Bauleitfadens, den es gar nicht gibt'; 'das Bildwerkzeug hat eine schöne Skizze des neuen Ateliers erstellt, aber die Fenster passen nicht zusammen'. Der Partner möchte wissen, ob das Werkzeug defekt ist. Das ist es nicht. Es tut genau das, wofür es entwickelt wurde.
Wie wird ein generatives KI-Modell trainiert?
Ein großes Sprachmodell wird zunächst mit einer riesigen Textsammlung darauf trainiert, den nächsten Textbaustein vorherzusagen. Anschließend wird es weiter darauf trainiert, Anweisungen zu befolgen und hilfreiche Antworten zu geben. Das Glossar von Anthropic beschreibt das Vortraining als Training mit einem großen, nicht annotierten Textkorpus, bei dem aus dem bisherigen Kontext das nächste Wort vorhergesagt wird. Darauf folgen Feinabstimmung und bestärkendes Lernen anhand menschlicher Rückmeldungen: Menschen bewerten Beispielantworten, und das Modell lernt, die besseren zu bevorzugen.
Das Modell speichert nicht von jedem Dokument eine Kopie. Es passt Milliarden interner Zahlenwerte an, bis seine Vorhersagen den Mustern in den Daten entsprechen. Das Ergebnis ähnelt eher einem sehr detaillierten Gespür dafür, wie Sprache und Ideen üblicherweise zusammenpassen, als einer durchsuchbaren Bibliothek.
Was sind Tokens, und wie sagt das Modell sie vorher?
Tokens sind die kleinen Einheiten, die ein Modell liest und schreibt, häufig ein Wort oder ein Wortteil. Das Modell schreibt, indem es wiederholt ein wahrscheinliches nächstes Token vorhersagt. Der Kurs von Google zum maschinellen Lernen beschreibt ein Sprachmodell als ein Modell, das die Wahrscheinlichkeit schätzt, mit der ein Token oder eine Folge von Tokens innerhalb einer längeren Folge vorkommt. Er weist darauf hin, dass etwa 400 Tokens ungefähr 300 englischen Wörtern entsprechen.
Bei jedem Schritt bewertet das Modell viele mögliche nächste Token. Die Anwendung wählt dann eines aus: manchmal das wahrscheinlichste, häufig eines, das zufällig aus den wahrscheinlichen Möglichkeiten gezogen wird. Eine Einstellung namens Temperatur steuert, wie gewagt diese Auswahl ausfällt: Höhere Werte führen zu abwechslungsreicheren Formulierungen, niedrigere zu vorhersehbareren. Anthropic weist darauf hin, dass die Ergebnisse selbst bei der niedrigsten Temperatur nicht vollständig deterministisch sind. Das beantwortet Rowans erste Anmerkung.
Wie funktionieren KI-Bildgeneratoren?
Viele KI-Bildgeneratoren verwenden ein Verfahren namens Diffusion: Das Modell lernt, Bildrauschen zu entfernen. Anschließend erzeugt es ein neues Bild, indem es mit zufälligem Rauschen beginnt und dieses anhand Ihrer Textbeschreibung Schritt für Schritt verfeinert. Der Diffusionskurs von Hugging Face beschreibt das Training so: Rauschen wird in unterschiedlichen Mengen hinzugefügt und das Modell lernt, die Bilder wiederherzustellen. Bei der Bilderzeugung wird zufälliges Rauschen schrittweise verfeinert, bis ein Bild entsteht.
Weil das Modell plausible Pixel erzeugt, statt einer Architekturzeichnung zu folgen, können Details wie die Ausrichtung von Fenstern, Texte auf Schildern oder die Anzahl der Finger falsch ausfallen. Das ist Rowans dritte Anmerkung.
Was bedeutet das für Ihre Nutzung der Werkzeuge?
Das bedeutet, dass Sie dem Tool die Fakten geben sollten, auf deren Grundlage es arbeiten soll, statt sich auf sein Gedächtnis zu verlassen. Schwache Eingabe: 'Welche Bauvorschriften gelten für einen rückwärtigen Anbau, der ohne gesonderte Baugenehmigung zulässig ist?' Die Antwort ist flüssig formuliert, fällt bei jedem Versuch anders aus und vermischt möglicherweise Vorschriften aus verschiedenen Jahren oder Ländern. Sie kann auch einen plausiblen, aber erfundenen Dokumentverweis enthalten. Das erklärt die zweite Anmerkung von Rowan.
Verbesserte Eingabe: Rowan fügt den relevanten Abschnitt aus den offiziellen Bauplanungsrichtlinien ein und fragt: 'Fassen Sie ausschließlich anhand des folgenden Textes die Größenbeschränkungen für einen eingeschossigen rückwärtigen Anbau in einer Tabelle zusammen. Wenn etwas im Text nicht behandelt wird, schreiben Sie: nicht behandelt.' Jetzt muss das Modell lediglich sichtbaren Text wiedergeben und ordnen. Das kann es gut, und Rowan kann jede Zeile anhand der Quelle überprüfen.
Wo liegen die Grenzen generativer KI?
Die wichtigsten Grenzen sind: Generative KI kann falsche Aussagen mit großer Sicherheit formulieren, ihr Wissen endet ohne Anbindung an eine Suche oder Dokumente zu einem bestimmten Zeitpunkt, sie kann nur mit dem arbeiten, was in ihr Kontextfenster passt, und sie kann Verzerrungen aus ihren Trainingsdaten widerspiegeln. Nichts davon sind Fehler, die sich durch höflicheres Fragen beheben lassen. Diese Grenzen ergeben sich aus der Funktionsweise der Modelle.
Prüfen Sie Fakten, Zahlen, Namen und Quellenangaben anhand einer vertrauenswürdigen Quelle und stellen Sie dem Tool Quellmaterial bereit, wenn Genauigkeit wichtig ist.
Wo ist diese Lektion im Katalog von Tosheo.ai eingeordnet?
„Wie generative KI funktioniert“ gehört zur Kategorie „KI-Grundlagen“. Es ist eine der ersten Lektionen für KI-Einsteiger und die erste Lektion im Kurs zu generativer KI. In der praktischen Aufgabe auf Tosheo.ai sagen Sie zunächst voraus, wie sich ein Werkzeug verhält, wenn Sie Einstellungen wie die Temperatur ändern oder einen Quelltext bereitstellen. Anschließend testen Sie Ihre Vorhersage. Die Rückmeldung anhand der Bewertungskriterien prüft, ob Ihre Erklärung für einen Kollegen verständlich wäre.