Was ist ein neuronales Netz?

Das Machine-Learning-Glossar von Google definiert ein neuronales Netz als Modell mit mindestens einer verborgenen Schicht (hidden layer). Hat es mehr als eine verborgene Schicht, heißt es tiefes neuronales Netz. Auf diesen tiefen Netzen beruht Deep Learning, das im Eintrag Machine Learning erklärt ist.

Der Name kommt aus der Biologie. David Rumelhart, Geoffrey Hinton und Ronald Williams beschrieben ihr Lernverfahren 1986 in Nature für „Netze aus neuronenähnlichen Einheiten“. Google schreibt, dass Netze im Computer manchmal künstliche neuronale Netze heißen, damit man sie von den Netzen in Gehirnen und Nervensystemen unterscheidet. Das Rechenmodell übernimmt vom Gehirn das Bild von Einheiten, die Signale weitergeben. Ein Nachbau des Gehirns ist es nicht.

Neuronale Netze sind eine Modellart innerhalb des Machine Learning, nicht das ganze Feld. Ein lineares Modell ohne verborgene Schicht ist nach Googles Definition kein neuronales Netz, lernt aber ebenfalls aus Daten.

Ein Netz hat drei Arten von Schichten. Die Eingabeschicht nimmt die Merkmale eines Beispiels auf, etwa Zahlenwerte für Wörter oder Bildpunkte. Danach kommen eine oder mehrere verborgene Schichten. Die Ausgabeschicht liefert die Vorhersage. Die Knoten der verborgenen Schichten heißen Neuronen.

Jedes Neuron rechnet zuerst wie ein lineares Modell: Es multipliziert jeden Eingangswert mit einem eigenen Gewicht, addiert die Ergebnisse und dazu einen Bias. Danach wendet es eine Aktivierungsfunktion an. Ein Beispiel mit erfundenen Zahlen: Eingänge 2 und 3, Gewichte 0,5 und −1, Bias 1 ergeben 2 × 0,5 + 3 × (−1) + 1 = −1. Die Aktivierungsfunktion ReLU macht aus jedem negativen Wert 0, das Neuron gibt also 0 weiter.

Die Aktivierungsfunktion ist kein Detail. Google erklärt im Machine Learning Crash Course, dass lineare Rechnungen auf linearen Rechnungen linear bleiben. Ohne nichtlineare Funktion könnte das Netz also trotz vieler Schichten keine nichtlinearen Zusammenhänge lernen.

Gelernt wird mit Backpropagation. Rumelhart, Hinton und Williams beschrieben 1986 ein Verfahren, das die Gewichte der Verbindungen wiederholt so anpasst, dass der Unterschied zwischen der tatsächlichen und der gewünschten Ausgabe kleiner wird. Dabei berechnet der Algorithmus für jeden Parameter, wie stark der Fehler von ihm abhängt. Google nennt Backpropagation den häufigsten Trainingsalgorithmus für neuronale Netze. Erst er macht das Gradientenverfahren für Netze mit mehreren Schichten praktikabel.

Nach dem Training bleiben die Gewichte fest. Das Netz wendet sie dann auf neue Eingaben an.

Die Sprachmodelle hinter KI-Antworten sind neuronale Netze. Google beschreibt im Glossar ein großes Sprachmodell informell als jedes Transformer-basierte Sprachmodell, etwa Gemini oder GPT, und den Transformer als Architektur für neuronale Netze. Die Hersteller sagen dasselbe über ihre eigenen Modelle. OpenAI nennt GPT-4 im technischen Bericht von 2023 ein Transformer-basiertes Modell. Google schreibt im Gemini-Bericht (Fassung vom Mai 2025), die Gemini-Modelle bauten auf Transformer-Decodern auf. Wie spätere Modelle gebaut sind, sagen diese Berichte nicht.

Daraus folgt etwas für jede Marke, die in solchen Antworten vorkommt. Ein Netz speichert sein Wissen in den Gewichten, nicht als Einträge in einer Datenbank. Rumelhart und Kollegen beschrieben schon 1986, dass die verborgenen Einheiten im Training wichtige Merkmale der Aufgabe abbilden und die Regelmäßigkeiten im Zusammenspiel dieser Einheiten stecken. Es gibt also keine einzelne Stelle, an der ein falscher Satz über ein Unternehmen steht und korrigiert werden könnte. Warum eine Antwort so ausfällt, lässt sich nicht nachschlagen. Mehr dazu in den Einträgen LLM und KI-Halluzination.

Auch im Marketing selbst stecken neuronale Netze, oft ohne dass das Werkzeug es sagt: in Text- und Bildgeneratoren der generativen KI und in Systemen, die Texte als Zahlenvektoren darstellen, den Embeddings.

• Trennen Sie die Begriffe: KI ist der Oberbegriff, Machine Learning ein Teil davon, ein neuronales Netz eine Modellart darin, ein LLM ein bestimmtes neuronales Netz.
• Fragen Sie bei einem Werkzeug, welches Modell es nutzt und auf welchem Datenstand, statt sich mit dem Etikett „KI“ zufriedenzugeben.
• Behandeln Sie die Ausgabe eines Netzes als berechnete Wahrscheinlichkeit, nicht als nachgeschlagene Tatsache, und prüfen Sie Fakten an der Quelle.
• Nehmen Sie für einfache Zusammenhänge mit wenigen Merkmalen nicht automatisch ein neuronales Netz an. Google stellt sie als Architektur für nichtlineare Muster vor, ein lineares Modell kann reichen.
• Lesen Sie Herstellerangaben zur Bauweise als Angabe zu genau dem Modell und der Fassung, die der Bericht nennt.

• Ein neuronales Netz für einen Nachbau des Gehirns halten.
• Jedes Modell des maschinellen Lernens für ein neuronales Netz halten.
• „Tief“ als Aussage über Qualität lesen. Es heißt nur: mehr als eine verborgene Schicht.
• Erwarten, dass sich ein falscher Fakt im Modell gezielt finden und ändern lässt wie ein Datensatz.
• Aus der Zahl der Parameter auf die Brauchbarkeit für eine konkrete Aufgabe schließen.