Paradigmenwechsel im Bereich Machine Learning – Sprachmodelle und mehr 

Sogenannte Foundation Models werden auf einer breiten Datenbasis in großem Umfang trainiert und können an eine Vielzahl von nachgelagerten, spezialisierten Aufgaben angepasst werden. Der Ansatz von Machine Learning durchläuft mit dem Aufkommen dieser Modelle einen Paradigmenwechsel, da diese Modelle ganz neue Fähigkeiten haben und auf eine ganz neue Art direkt trainiert werden können. Beispiele sind die Familie der Transformer-Modelle wie GPT und dem abgeleiteten Codex-Modell, das den Ansatz der Programmierung grundlegend verändern könnte.

Olli gibt in diesem Talk einen Überblick über diese Transformer-Modelle und zeigt am konkreten Codebeispiel, was mit vortrainierten Modellen möglich ist und wie man solche Modelle auf spezielle Aufgaben nachtrainiert. Neben dem Codex-Modell werden Beispiele mit dem Copilot von GitHub betrachtet und diskutiert, welche Auswirkungen solche Modelle auf unsere zukünftige Arbeit als Softwareentwickler haben können.