goSecurity BLOG

In diesem Blog geht es um die Grenzen und Chancen von Künstlicher Intelligenz im Kontext des kritischen Denkens. Sprachmodelle wie ChatGPT beeindrucken durch ihre Ausdrucksstärke, doch sie „denken“ nicht – sie berechnen Wahrscheinlichkeiten auf Basis von Trainingsdaten, die oft verzerrt sind. Der Artikel zeigt anhand aktueller Studien, warum KI-Modelle zwar Muster erkennen, aber nicht zuverlässig Wahrheit von Fiktion unterscheiden können. Kritisches Denken wird als menschliche Schlüsselkompetenz beschrieben, um mit KI sinnvoll und reflektiert umzugehen. Die zentrale Botschaft: KI kann unser Denken unterstützen – aber nicht ersetzen.

Einleitung

„Ist das wirklich von einer KI geschrieben?“ – diese Frage stellen sich immer mehr Menschen, wenn sie auf erstaunlich menschlich wirkende Texte stossen. Die Antwort: „Ja, und das ist erst der Anfang“. Moderne Large Language Models (LLMs) wie ChatGPT, Gemini, Claude, Mistral-AI und andere KI-Systeme haben in den letzten Monaten einen regelrechten Quantensprung vollzogen. Doch hinter ihrer beeindruckenden Fassade verbirgt sich ein faszinierendes Paradox: Diese Modelle denken nicht wirklich – sie berechnen Wahrscheinlichkeiten. Large Language Models (LLMs) sind gigantische Sprachmodelle, die mit Milliarden von Textfragmenten trainiert wurden und dadurch menschenähnliche Texte erzeugen können, ohne tatsächlich zu verstehen, worüber sie „sprechen“. Sie sind Mustererkennungsmaschinen par excellence, die uns mit ihrer Eloquenz verblüffen und gleichzeitig mit selbstbewusst vorgetragenen Falschinformationen in die Irre führen können. Diese Doppelnatur der KI – gleichzeitig brillant und blind für ihre eigenen Grenzen – wirft eine der drängendsten Fragen unserer digitalen Ära auf: Wie können wir das enorme Potenzial dieser hochkomplexen Technologie nutzen und gleichzeitig ihre Schwächen durch kritisches Denken ausgleichen?

Grundverständnis: Wie funktionieren LLMs im Kern?

Die Modelle basieren auf neuronalen Netzwerken, die mithilfe von Transformer-Architekturen aufgebaut sind. Sie wurden mit Milliarden von Wörtern aus vielfältigen Quellen trainiert und nutzen dabei die Technik des „Next Token Prediction“. Dabei kommen clevere Techniken wie der Attention-Mechanismus und das Softmax-Verfahren zum Einsatz. Die Trainingsprozesse beinhalten zudem oft zusätzliche Feinabstimmungen mit menschlichem Feedback (Reinforcement Learning from Human Feedback, RLHF), um Antworten zu optimieren und sicherer zu gestalten. Allerdings können diese Optimierungen auch dazu führen, dass bestimmte Voreingenommenheiten verstärkt werden, wenn sie in den Trainingsdaten vorhanden sind.

Neuronale Netzwerke: Computersysteme, die von der Funktionsweise des menschlichen Gehirns inspiriert sind. Ähnlich wie Gehirnzellen bilden sie komplexe Verbindungen, die durch Training verstärkt oder abgeschwächt werden.

Transformer-Modelle: Eine spezifische Architektur von KI-Systemen, die auf dem Attention-Mechanismus basiert. Sie funktionieren wie ein Superleser, der alle Wörter eines Textes gleichzeitig betrachten und Beziehungen zwischen ihnen herstellen kann.

Token: Die kleinsten Einheiten, in die ein Text für die Verarbeitung durch KI zerlegt wird. Meist einzelne Wörter oder Wortteile, vergleichbar mit den Bausteinen eines Textes.

Next Token Prediction: Die Kerntechnik von LLMs, bei der basierend auf dem bisherigen Text das wahrscheinlichste nächste Wort berechnet wird. Wie das Vervollständigen eines Satzes, bei dem jedes Wort auf Basis aller vorangegangenen Wörter ausgewählt wird.

Attention-Mechanismus: Eine Technik, die es KI-Modellen ermöglicht, Verbindungen zwischen verschiedenen Teilen eines Textes herzustellen. Wie ein Mensch, der beim Lesen eines Satzes wichtige Wörter besonders beachtet und unwichtige überfliegt.

Softmax: Ein mathematisches Verfahren, das verwendet wird, um Wahrscheinlichkeiten für verschiedene mögliche nächste Wörter zu berechnen. Wie ein Quizspieler, der Prozentangaben macht, wie sicher er sich bei verschiedenen Antwortmöglichkeiten ist.

Reinforcement Learning from Human Feedback (RLHF): Eine Trainingsmethode, bei der das Modell basierend auf menschlichen Bewertungen seiner Antworten lernt. Ähnlich wie ein Schüler, der durch Feedback des Lehrers seine Leistung verbessert.

Die Vorurteile: Der technische KI-Lernprozess unter der Lupe

Warum KI-Systeme manchmal voreingenommen antworten und falsche Schlussfolgerungen ziehen, liegt in den technischen Grundlagen ihrer Funktionsweise verborgen. LLMs arbeiten von Natur aus mit einseitig geprägten Grundannahmen, den sogenannten «Priors». Diese Voreingenommenheit wird in der KI-Forschung auch als „Bias“ bezeichnet. Diese entstehen vor allem aus den nicht-neutralen Trainingsdaten, die das Modell während des Pre-Trainings verarbeitet. Beispielsweise, wenn in den verwendeten Textsammlungen häufiger von „Kopf“ als von „Zahl“ bei Münzwürfen berichtet wird, übernimmt das Modell diese Voreingenommenheit und weicht von einer fairen 50:50-Verteilung ab.

Diese Tatsache wurde in der Forschungsarbeit „Enough Coin Flips Can Make LLMs Act Bayesian“ (6. März 2025) an der University of California, Berkeley systematisch untersucht. In einem kontrollierten Experiment mit gezinkten Münzwürfen fanden die Forscher folgendes heraus:

• Verzerrte Startannahmen: LLMs besitzen häufig unausgewogene Priors, was zu deutlichen Abweichungen in Zero-Shot-Szenarien führt. Da in solchen Fällen keine direkten Beispiele vorliegen, an denen sich das Modell orientieren kann, verlässt es sich stärker auf seine voreingenommenen Priors, was die Genauigkeit der Antworten beeinträchtigen kann.

• Lernen stärker durch Kontext statt durch Anweisungen: In-Context Learning ist weitaus bedeutender als explizit vorgegebene Bias-Anweisungen. Auch wenn beispielsweise in einem Prompt erwähnt wird, dass eine Münze zu 80% auf „Kopf“ fällt, ignorieren viele Modelle diese Information und lernen vielmehr aus den im Kontext präsentierten Beispielen.

• Bayes’sches Lernen durch Beispiele: Sobald genügend Münzwurf-Beispiele vorliegen, passen die Modelle ihre Wahrscheinlichkeiten weitgehend entsprechend der Bayes’schen Logik an. Stell dir vor: Du hast eine erste Vermutung (Prior), zum Beispiel „diese Münze fällt meistens auf Kopf“. Dann wirfst du die Münze mehrmals und sammelst Beweise. Mit jedem neuen Wurf passt du deine Einschätzung an. Nach vielen Würfen vertraust du mehr auf deine Beobachtungen als auf deine anfängliche Vermutung. Die Studie zeigte, dass KI-Modelle nach ausreichend vielen Beispielen tatsächlich dieses menschenähnliche Lernmuster zeigen. Interessanterweise liegt das Problem bei KI’s nicht im Lernprozess selbst – den beherrschen sie gut – sondern in ihren manchmal falschen Startannahmen. Das ist, als würde jemand mit einem Vorurteil starten, aber durchaus bereit sein, dieses aufgrund neuer Erfahrungen zu korrigieren.

• Architektur als sekundärer Faktor: Der Attention-Mechanismus bzw. die Aufmerksamkeit, die ein Transformer-Modell seinen Eingaben schenkt, spielt dabei eine untergeordnete Rolle. Interessanterweise hat auch die Modellgrösse – ob 70 Millionen oder 12 Milliarden Parameter – nur wenig Einfluss auf dieses Lernverhalten.

• Reale Konsequenzen falscher Annahme: Diese Ergebnisse haben praktische Auswirkungen im Alltag: Wenn KI-Systeme für wichtige Aufgaben eingesetzt werden – etwa in Robotern oder um menschliches Verhalten vorherzusagen – können sie in die Irre gehen, wenn ihre Startannahmen falsch sind. Es ist, als würden sie mit einer verzerrten Brille auf die Welt schauen. Nur wenn wir ihnen genügend konkrete Beispiele geben und sie gezielt anleiten, lernen sie, vernünftige Schlussfolgerungen zu ziehen und ihre anfänglichen Fehleinschätzungen zu korrigieren.

Priors: Vorannahmen oder Vorwissen, die ein KI-System besitzt, bevor es neue Informationen erhält. Wie ein Mensch, der mit bestimmten Vorurteilen an eine neue Situation herangeht, bevor er alle Fakten kennt.

Bias: Systematische Verzerrungen in den Ausgaben von KI-Modellen, die durch unausgewogene Trainingsdaten entstehen. Vergleichbar mit einer Nachrichtenseite, die überwiegend aus einer politischen Perspektive berichtet und dadurch ein verzerrtes Weltbild vermittelt.

Pre-Training: Die grundlegende Trainingsphase eines KI-Modells, in der es mit riesigen Datenmengen trainiert wird, bevor eine spezifische Feinabstimmung erfolgt. Vergleichbar mit dem Erlernen von Grundkenntnissen in der Schule, bevor man sich auf ein Fachgebiet spezialisiert.

Zero-Shot-Szenarien: Situationen, in denen ein KI-Modell Aufgaben ohne spezifisches Training oder Beispiele lösen muss. Wie wenn ein Mensch plötzlich eine Aufgabe erledigen soll, für die er nie eine Anleitung erhalten hat.

In-Context Learning (ICL): Die Fähigkeit eines KI-Modells, aus Beispielen im aktuellen Eingabetext zu lernen. Ähnlich wie ein Kind, das durch Beobachtung einer Demonstration spontan lernt, eine neue Aufgabe zu bewältigen.

Prompt: Eine Anweisung oder Frage, die an ein KI-System gestellt wird, um eine bestimmte Antwort zu generieren. Vergleichbar mit einer Regieanweisung für einen Schauspieler.

Bayes’sche Logik: Ein mathematisches Verfahren zur Anpassung von Wahrscheinlichkeiten basierend auf neuen Informationen. Wie wenn du deine Einschätzung, ob es regnen wird, anpasst, nachdem du den Wetterbericht gesehen hast.

Parameter: Einzelne Werte in einem KI-Modell, die während des Trainings angepasst werden. Vergleichbar mit den Verbindungen zwischen Nervenzellen im Gehirn, die das „Gedächtnis“ des Modells bilden.

Das Problem der KI-Halluzinationen

Ein weiterer interessanter Aspekt im Kontext von LLMs ist das Phänomen der „KI-Halluzinationen“. Wie in einem Artikel von Prof. Dr. Yoshija Walter (Dozent an der Kalaidos FH) betont wird, liegen diese Halluzinationen in den technischen Grenzen der Modelle begründet. Unabhängig von den Fortschritten in der Modellarchitektur und den Trainingsmethoden ist es technisch unvermeidbar, dass LLMs gelegentlich fehlerhafte oder aus dem Kontext gerissene Antworten generieren.

Eine neue Studie (Xu, Jain & Kankanhalli, 2024) bestätigt diese Unvermeidbarkeit von Halluzinationen und erklärt, dass dieses Problem in der Natur der künstlichen neuronalen Netzwerke selbst liegt. Das grundlegende Problem ist, dass KI-Modelle keine echte Verankerung in der realen Welt haben und daher nicht zwischen wahr und falsch in der Realität unterscheiden können. Halluzinationen entstehen einerseits durch die grundlegende Art und Weise, wie Sprachmodelle funktionieren und wie sie durch verschiedene Trainingsmethoden geprägt wurden. Andererseits sind sie auch auf unvermeidbare Schwächen in den Trainingsdaten zurückzuführen, die oft unausgewogen oder fehlerhaft sind.

Diese Tatsache zeigt, wie wichtig gezielte Bildungsangebote sind, durch die Menschen lernen, KI-Outputs nicht blind zu vertrauen. Die Ergebnisse machen deutlich, dass kritisches Denken keine optionale Zusatzfähigkeit ist, sondern eine grundlegende Kompetenz darstellt, die wir in der Interaktion mit diesen neuen Technologien unbedingt ausbauen müssen.

KI-Halluzinationen: Fälle, in denen KI-Systeme falsche oder erfundene Informationen als Fakten präsentieren. Wie ein selbstbewusster Redner, der Behauptungen aufstellt, ohne sie überprüft zu haben.

Was echtes kritisches Denken ausmacht

Was bedeutet kritisches Denken eigentlich? Bevor wir darauf eingehen, ob Künstliche Intelligenz kritisch “denken” könnte, müssen wir verstehen, was den Kern dieser Fähigkeit ausmacht. Kritisches Denken ist mehr als nur Skepsis oder das Infragestellen von Informationen. Laut dem Diskussionspapier von Marko Kovic handelt es sich um eine komplexe metakognitive Fähigkeit zur Evaluation von Wahrheitsbehauptungen, die auf folgenden drei Schlüsselkomponenten basiert:

1. der Minimierung logischer Fehlschlüsse

2. der Reduzierung kognitiver Verzerrungen und

3. der Anwendung einer probabilistischen Erkenntnistheorie.

Metakognitive Fähigkeit: Das „Denken über das eigene Denken“ – die Fähigkeit, die eigenen Gedankenprozesse zu beobachten und zu bewerten. Wie ein Schachspieler, der nicht nur seinen nächsten Zug plant, sondern auch seine Strategie hinterfragt.

Probabilistische Erkenntnistheorie: Eine philosophische Sichtweise, die Wissen und Überzeugungen in Bezug auf Wahrscheinlichkeiten betrachtet. Statt „ich weiss mit Sicherheit“ zu sagen, denkt man in Dimensionen wie „ich bin zu 80% überzeugt“.

Auf dem Weg zur kritisch denkenden KI

Im wissenschaftlichen Bereich wird derzeit intensiv daran gearbeitet, KIs beizubringen, wie sie kritischer „Denken“ können. Besonders vielversprechend sind dabei bayessche Ansätze – benannt nach dem Mathematiker Thomas Bayes, dessen Ideen wir bereits beim Münzwurf-Beispiel kennengelernt haben.

Die Studie „Enough Coin Flips Can Make LLMs Act Bayesian“ zeigt, dass KI-Modelle tatsächlich lernen können, ihre voreingenommenen Startannahmen zu korrigieren, wenn sie genügend Beispiele sehen – genau wie wir Menschen unsere Meinungen anpassen, wenn neue Beweise auftauchen. Forscher arbeiten daran, diese Fähigkeit zu verstärken, damit KI-Systeme nicht nur Muster erkennen, sondern auch einschätzen können, wie sicher sie sich ihrer Sache sind, und sich selbst korrigieren können, wenn sie falsch liegen. Statt einfach eine Antwort auszuspucken, soll die KI der Zukunft sagen können: „Ich bin mir zu 80% sicher, aber es könnte auch anders sein.“ – eine wichtige Grundlage für echtes kritisches Denken.

Die Forschung versucht auch, kritisches Denken durch den Einsatz von „Chain-of-Thought“-Techniken zu fördern, wobei Modelle dazu angeregt werden, ihren Denkprozess Schritt für Schritt zu erklären. Dadurch wird nicht nur die Endantwort, sondern auch der zugrunde liegende logische Prozess transparent gemacht. Ein interaktiver Dialog im Champaign Magazine (März 2025) zwischen W.H.L. und Claude 3.7 Sonnet unterstreicht diese Herausforderung. Darin wird diskutiert, dass heutigen KI-Modellen echtes kritisches Denken fehlt, da sie kaum ihre eigenen Annahmen hinterfragen oder Informationsquellen kritisch bewerten können. Das Fazit des Dialogs lautet, dass aktuelle KI-Modelle zwar den Eindruck erwecken, kritisch zu denken, tatsächlich aber nur Muster reproduzieren – um echtes, reflexives Denken zu erreichen, wären fortschrittlichere Trainingsmethoden und architektonische Innovationen nötig. Diese Ansätze sollen letztlich dazu beitragen, dass KI’s ihre eigenen Vorannahmen reflektieren und bei Bedarf korrigieren können – ein entscheidender Schritt, um KI-Systeme zu entwickeln, die als verlässliche „Weltmodelle“ fungieren können.

Chain-of-Thought: Eine Methode, bei der KI-Modelle ihren Denkprozess Schritt für Schritt darlegen. Wie ein Mathematiklehrer, der nicht nur die Lösung, sondern auch den Lösungsweg aufzeigt.

Weltmodelle: KI-Systeme, die ein umfassendes Verständnis der Welt und ihrer Zusammenhänge entwickeln sollen. Vergleichbar mit einer mentalen Karte der Realität, die es ermöglicht, Vorhersagen und Schlussfolgerungen zu treffen.

Was bedeutet das alles für uns?

LLMs sind beeindruckende Werkzeuge, aber sie „denken“ nicht kritisch – sie berechnen und ahmen nach. Ihre Schwächen – voreingenommene Startannahmen und unvermeidbare „Halluzinationen“ – erfordern von uns Menschen ein gesundes Mass an Skepsis.

Eine neue Studie der Swiss Business School, verfasst von Dr. Michael Gerlich, liefert wertvolle Einblicke in den Zusammenhang zwischen der Nutzung von KI-Werkzeugen und den Fähigkeiten zum kritischen Denken. Die Untersuchung wurde als Mixed-Methods-Studie konzipiert und kombiniert Quantitative Analysen, Beobachtungen und Qualitative Interviews mit insgesamt 666 Teilnehmenden. Während KI zweifellos Vorteile in der Automatisierung und Effizienz bietet, zeigen Gerlichs Ergebnisse eine negative Korrelation zwischen häufiger KI-Nutzung und langfristiger kognitiver Leistungsfähigkeit.

Ein zentrales Ergebnis der Studie ist die signifikante negative Korrelation zwischen intensiver KI-Nutzung und kritischem Denken:

• Reduzierte geistige Beteiligung: Wer Aufgaben regelmässig an KI-Tools delegiert, überspringt oft gedankliche Zwischenschritte, die für analytisches Denken wichtig sin

• Sorge über KI-Abhängigkeit: Viele Interviewpartner äusserten Bedenken hinsichtlich einer wachsenden Abhängigkeit von KI, verbunden mit einem Rückgang eigener Problemlösungsinitiative.

Ein weiteres wichtiges Ergebnis der Studie: Nicht die Nutzung von KI an sich ist problematisch – sondern der unreflektierte Einsatz ohne didaktische Einbettung. KI darf nicht zum Autopiloten werden, sondern muss in Lernprozesse integriert werden, die zur aktiven Auseinandersetzung anregen.

Daher empfehlen Bildungsforscher wie Dr. Gerlich drei konkrete Strategien:

• Gezielte KI-Integration: Lernende sollen nicht nur KI-Antworten konsumieren, sondern deren Herkunft, Logik und mögliche Verzerrungen hinterfragen.

• Strukturierte Aufgabenstellungen: Prüfungsformate und Lernaufgaben sollten bewusste Reflexionsschritte enthalten – etwa durch Begründungspflicht, Quellenkritik oder Perspektivenwechsel.

• Kollaborative Reflexion: Gruppendiskussionen helfen, die Logik hinter KI-Antworten kritisch zu hinterfragen und mögliche Verzerrungen oder Fehler zu erkennen.

Gerade in einer Zeit, in der Tools wie ChatGPT, Gemini oder Claude immer präsenter werden, liegt die Verantwortung bei Lehrenden, Lernräume zu schaffen, in denen Technologie und Denkfähigkeit Hand in Hand gehen.
Das Ziel: KI als Katalysator für kritisches Denken – nicht als Ersatz.

Bildung als Brücke zwischen Mensch und Maschine

Während Länder wie China bereits KI-Unterricht an Grundschulen einführen, stehen wir vor der wichtigen Frage: Wie bereiten wir die nächste Generation auf eine Welt vor, in der KI allgegenwärtig sein wird? Die Sorge, dass Kinder „nur noch am Handy oder Tablet sitzen“ werden, greift zu kurz. Das eigentliche Problem ist nicht die Technologie selbst, sondern wie wir mit ihr umgehen.

Der offene Dialog über KI – zwischen Jung und Alt, zwischen verschiedenen Fachbereichen und Sichtweisen – ist entscheidend für einen klugen Umgang mit diesen Technologien. Wir sollten KI weder ablehnen noch blind vertrauen, sondern sie als Ergänzung, nicht als Ersatz für unser eigenes Denken betrachten.

In diesem Zusammenspiel mit KI müssen wir ständig die Balance finden: zwischen Effizienz und Nachdenken, zwischen technischer Hilfe und geistiger Selbstständigkeit.

Wenn wir unseren Mitmenschen nicht nur zeigen, was KI kann und wie man sie bedient, sondern auch warum und wozu wir sie einsetzen, schaffen wir eine Zukunft, in der diese Technologie unsere Kreativität, unser kritisches Denken und unsere Weisheit fördert. Die Technologie soll uns befähigen, nicht ersetzen.

Fazit

Mit diesem Verständnis wird deutlich: Kritisches Denken ist nicht nur eine menschliche Fähigkeit, sondern eine notwendige Ergänzung im Umgang mit KI, um deren Stärken zu nutzen und ihre Schwächen zu kompensieren. Die Zukunft der KI liegt dabei nicht in der automatischen Wahrheitsfindung, sondern in der intelligenten Zusammenarbeit zwischen Mensch und Maschine.

Über die Entstehung dieses Artikels

Dieser Artikel entstand in enger Zusammenarbeit zwischen Mensch und KI. Der Kern dieses Artikels – die Thematik, die Perspektiven und die kritische Auseinandersetzung mit KI – entsprang vollständig den Gedanken der Verfasserin. Das Ziel war es, darzustellen, wie menschliche Fähigkeiten mit Technologie harmonieren können, wo die technologischen Grenzen liegen und worauf wir künftig achten müssen. Die KI diente dabei lediglich als Werkzeug, um die vielfältigen Ideen, die recherchierten Studien und komplexen Gedankengänge strukturiert und verständlich zu präsentieren. KI-Systeme wie ChatGPT, Claude und Perplexity dienten zur Recherche, Strukturierung und Vereinfachung. Die finale Ausgestaltung und Reflexion erfolgte bewusst menschlich – im Sinne der Kernbotschaft: Technologie kann uns unterstützen, aber nicht ersetzen.

Quellen:

Enough Coin Flips Can Make LLMs Act Bayesian: [2503.04722] Enough Coin Flips Can Make LLMs Act Bayesian

„Das kritische Denken und die KI – KI-Halluzinationen sind technisch unvermeidbar“: Das kritische Denken und die KI | Kalaidos FH

Die SBS Swiss Business School -Studie: SBS Swiss Business School: AI’s Impact on Critical Thinking

interaktiver Dialog im Champaign Magazine (März 2025) zwischen W.H.L. und Claude 3.7 Sonnet: AI by AI: Critical Thinking and AI Otherness – Champaign Magazine

Definition kritisches Denken: Was ist kritisches Denken?