25.05.2020

KI in der Cloud: Wie Sie ML-Modelle mit Azure Databricks einfach produktiv setzen

Technical Value

Kurz vorweg: Was ist Azure Databricks?

Produktivsetzung mit Databricks

Grundsätzlich soll ein produktives ML-Modell zwei Anforderungen voll automatisiert erfüllen: Einerseits gilt es, die eigentliche Kernaufgabe zu bewältigen, wobei es sich im Regelfall um eine Form der Prognose handelt. Andererseits muss sich das Modell in gewissen zeitlichen Abständen neu trainieren, um kontinuierliche Verbesserungen oder eine Anpassung an neue Gegebenheiten zu ermöglichen. Diese Aufgaben werden somit getrennt voneinander betrachtet. Entsprechend erstellen wir zunächst ein Produktivskript sowie ein Trainingsskript (Abb. 1).

Architektur für die Produktivsetzung von ML-Modellen in Azure Databricks
Abb. 1: Produktivsetzung eines ML-Modells mit Azure Databricks auf Basis eines Produktiv- und eines Trainingsskriptes.

Verwaltung über MLflow

Bei MLflow handelt es sich um eine Plattform, mit der sich ML-Modelle über ihren gesamten Lebenszyklus hinweg übersichtlich verwalten lassen. Die Verwendung ist relativ simpel: Im Rahmen von sogenannten Experimenten können diverse Trainingsdurchläufe mit unterschiedlichen Parametereinstellungen aufgezeichnet und nachverfolgt werden. So lassen sich beispielsweise zuvor definierte Parameter und Metriken einfach loggen und auch nach dem Training zu Informationszwecken wieder abrufen. Zudem werden die Modellauswahl, -bereitstellung und -versionierung für den produktiven Einsatz unterstützt. Grundsätzlich kann der Entwickler Python, R oder Java verwenden.

In der Abb. 2 wird anhand eines Beispiels das Logging eines MLflow Experiments gezeigt, welches hier drei Runs mit unterschiedlichen Parameterausprägungen umfasst. Demnach wurden also drei ML-Modelle mit ebenfalls unterschiedlichen Evaluationsergebnissen trainiert, auf die im Detail auch einzeln aus dem Produktivskript zugegriffen werden kann.

Logging eines MLflow-Experimentes am Beispiel von Bestellmengenprognosen
Abb. 2: Das Logging eines MLflow Experiments am Beispiel einer Bestellmengenprognose. Drei Varianten eines ML-Modells werden mit verschiedenen Parameterausprägungen und Evaluationsergebnissen trainiert.

Fazit

Falls Sie noch Fragen hierzu haben, sprechen Sie mich gerne an.

Neuen Kommentar schreiben

Der Inhalt dieses Feldes wird nicht öffentlich zugänglich angezeigt.

Klartext

  • Keine HTML-Tags erlaubt.
  • HTML - Zeilenumbrüche und Absätze werden automatisch erzeugt.
  • Web page addresses and email addresses turn into links automatically.
Teilen auf

Newsletter Anmeldung

Abonnieren Sie unseren Newsletter!
Lassen Sie sich regelmäßig über alle Neuigkeiten rundum ORAYLIS und die BI- & Big-Data-Branche informieren.

Jetzt anmelden