Was ist Deep Learning?

Yann LeCun, Yoshua Bengio und Geoffrey Hinton haben das Feld im Mai 2015 in der Zeitschrift Nature zusammengefasst. Ihr Ausgangspunkt ist eine Grenze der älteren Verfahren: Konventionelles Machine Learning konnte natürliche Daten in ihrer Rohform nur eingeschränkt verarbeiten. Jahrzehntelang verlangte ein Erkennungssystem sorgfältige Ingenieursarbeit und viel Fachwissen, um einen Merkmalsextraktor zu entwerfen. Das ist das Bauteil, das zum Beispiel die Pixelwerte eines Bildes in etwas übersetzt, das das Modell einordnen kann.

Deep Learning macht diesen Handarbeitsschritt überflüssig. Die Autoren erklären das an einem Bild. Die erste Schicht lernt, Kanten mit bestimmter Ausrichtung an bestimmter Stelle zu erkennen. Die zweite erkennt Motive, also bestimmte Anordnungen von Kanten. Die dritte setzt Motive zu Teilen bekannter Objekte zusammen, und die folgenden Schichten erkennen Objekte als Kombinationen dieser Teile. Entscheidend sei, schreiben sie, dass diese Merkmalsschichten nicht von Menschen entworfen werden: Sie werden mit einem allgemeinen Lernverfahren aus den Daten gelernt.

„Deep“, also tief, bezieht sich auf die Zahl der Schichten. Das Machine-Learning-Glossar von Google nennt ein neuronales Netz mit mehr als einer verborgenen Schicht ein tiefes Modell. Wie künstliche Intelligenz, Machine Learning und Deep Learning zusammenhängen, erklären der Eintrag zu Machine Learning und der zum neuronalen Netz: Deep Learning ist der Teil des Machine Learning, der mit tiefen neuronalen Netzen arbeitet.

Ein tiefes Modell hat Gewichte, also Zahlen, die festlegen, wie stark jede Verbindung zwischen zwei Schichten wirkt. Nach LeCun, Bengio und Hinton kann ein typisches Deep-Learning-System Hunderte Millionen solcher einstellbaren Gewichte haben und Hunderte Millionen gelabelte Beispiele, mit denen es trainiert wird. In jedem Trainingsschritt berechnet der Algorithmus für jedes Gewicht, wie sich der Fehler ändert, wenn das Gewicht ein wenig steigt, und verschiebt es in die Gegenrichtung. Diese Rechnung läuft Schicht für Schicht rückwärts, mit der Backpropagation, die der Eintrag zum neuronalen Netz beschreibt.

Daraus ergeben sich die beiden Voraussetzungen von Deep Learning: Daten und Rechenleistung. Ein Modell, das seine Merkmale selbst lernt, braucht viele Beispiele, damit es keine Merkmale lernt, die nur für wenige Fälle gelten. Und Hunderte Millionen Gewichte einzustellen, verlangt sehr viele Rechenoperationen. Die erste große Anwendung des Ansatzes war laut den Autoren die Spracherkennung, möglich geworden durch leicht programmierbare Grafikprozessoren (GPUs), mit denen sich Netze 10- bis 20-mal schneller trainieren ließen. Weitere Fortschritte erwarteten sie gerade deshalb, weil Deep Learning sehr wenig Handarbeit braucht und so leicht von mehr Rechenleistung und mehr Daten profitieren kann.

Ein bekannter Fall zeigt die Größenordnung. 2012 trainierten Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton ein tiefes Faltungsnetz mit den 1,2 Millionen Bildern des ImageNet-Wettbewerbs von 2010, verteilt auf 1.000 Klassen. Das Netz hatte 60 Millionen Parameter, und das Training dauerte auf zwei GPUs fünf bis sechs Tage. Die Autoren schrieben selbst, dass sich ihre Ergebnisse einfach dadurch verbessern ließen, dass man auf schnellere GPUs und größere Datensätze wartet. In der Übersicht von 2015 in Nature berichten LeCun, Bengio und Hinton, dass solche Netze im ImageNet-Wettbewerb 2012 die Fehlerrate der besten konkurrierenden Verfahren fast halbiert haben.

Laut derselben Übersicht hat Deep Learning die Spracherkennung, das Erkennen von Objekten in Bildern und das Auffinden von Objekten (object detection) deutlich verbessert. Google kündigte am 29. September 2021 an, dass sich mit MUM, einem Modell, das Text und Bilder versteht, in Google Lens ein Bild und eine geschriebene Frage zu einer Suche kombinieren lassen sollen. Auch LLMs sind tiefe Modelle, trainiert auf großen Textmengen, und gehören zum Natural Language Processing.

Die Google Suche nutzt Deep Learning seit 2015. Pandu Nayak schrieb am 3. Februar 2022 im Google-Blog, RankBrain sei 2015 das erste Deep-Learning-System gewesen, das in der Suche eingesetzt wurde. Am 25. Oktober 2019 hatte er BERT angekündigt, eine Technik auf Basis neuronaler Netze, die aus Googles Forschung zu Transformern stammt, also zu Modellen, die jedes Wort im Verhältnis zu allen anderen Wörtern des Satzes verarbeiten. Laut Google sollte BERT helfen, jede zehnte englischsprachige Suchanfrage in den USA besser zu verstehen. Am 18. Mai 2021 stellte er MUM vor und nannte es 1.000-mal leistungsfähiger als BERT. Der Leitfaden zu Googles Rankingsystemen, aktualisiert am 10. Dezember 2025, stellt klar, dass MUM derzeit für bestimmte Anwendungen genutzt wird und nicht für das allgemeine Ranking.

Für SEO heißt das praktisch: Google wertet aus, was eine Suchanfrage meint und was eine Seite beantwortet. Der Leitfaden beschreibt BERT als System, mit dem Google versteht, wie Wortkombinationen unterschiedliche Bedeutungen und Absichten ausdrücken, und beschreibt keine eigene Optimierung dafür. Was sich ändert, ist der Text, den du schreiben solltest: einer, der die Frage beantwortet, und nicht einer, der das Keyword in allen Varianten wiederholt.

Eine Grenze solltest du kennen. Das Google-Glossar hält fest, dass die meisten tiefen Modelle und großen Sprachmodelle Blackboxes sind: Man sieht, wie sich die Antwort mit der Eingabe ändert, kann aber nicht genau nachvollziehen, wie sie entsteht. Niemand außerhalb von Google kann ableiten, welches Merkmal zu einer bestimmten Position geführt hat.

• Nur Systeme Deep Learning nennen, die tiefe neuronale Netze nutzen, nicht jedes KI-System.
• Vor dem Einsatz eines Deep-Learning-Werkzeugs prüfen, mit welchen Daten es trainiert wurde und ob sie den eigenen ähneln.
• Die Ergebnisse an einer eigenen, von Menschen geprüften Stichprobe bewerten.
• Inhalte schreiben, die die Frage der Nutzer beantworten, statt Keyword-Varianten zu stapeln.
• Zahlen zu Modellen (Parameter, Daten, Verbesserungen) mit Quelle und Datum angeben.

• Deep Learning als Synonym für künstliche Intelligenz verwenden.
• Annehmen, mehr Schichten brächten immer bessere Ergebnisse, auch ohne mehr Daten und Rechenleistung.
• Nach einer „Optimierung für BERT“ oder MUM suchen, die Google nicht beschreibt.
• Die Antwort eines tiefen Modells als Erklärung dafür lesen, warum es sie gegeben hat.
• Davon ausgehen, dass MUM die Reihenfolge der Suchergebnisse bestimmt.