BLOG

KI in der Cloud: Wie Sie ML-Modelle mit Azure Databricks einfach produktiv setzen

25.05.2020 Jürgen Bruns

Kurz vorweg: Was ist Azure Databricks?

Produktivsetzung mit Databricks

Grundsätzlich soll ein produktives ML-Modell für KI in der Cloud zwei Anforderungen voll automatisiert erfüllen: Einerseits gilt es, die eigentliche Kernaufgabe zu bewältigen, wobei es sich im Regelfall um eine Form der Prognose handelt. Andererseits muss sich das Modell in gewissen zeitlichen Abständen neu trainieren, um kontinuierliche Verbesserungen oder eine Anpassung an neue Gegebenheiten zu ermöglichen. Sie betrachten diese Aufgaben also getrennt voneinander. Entsprechend erstellen wir zunächst ein Produktivskript sowie ein Trainingsskript (Abb. 1).

Architektur für die Produktivsetzung von ML-Modellen in Azure Databricks
Abb. 1: Produktivsetzung eines ML-Modells mit Azure Databricks auf Basis eines Produktiv- und eines Trainingsskriptes.

Verwaltung über MLflow

Bei MLflow handelt es sich um eine Plattform, mit der sich ML-Modelle über ihren gesamten Lebenszyklus hinweg übersichtlich verwalten lassen. Die Verwendung ist relativ simpel: Im Rahmen von sogenannten Experimenten können diverse Trainingsdurchläufe mit unterschiedlichen Parametereinstellungen aufgezeichnet und nachverfolgt werden. So lassen sich beispielsweise zuvor definierte Parameter und Metriken einfach loggen und auch nach dem Training zu Informationszwecken wieder abrufen. Zudem werden die Modellauswahl, -bereitstellung und -versionierung für den produktiven Einsatz unterstützt. Grundsätzlich kann der Entwickler Python, R oder Java verwenden.

In der Abb. 2 wird anhand eines Beispiels das Logging eines MLflow Experiments gezeigt, welches hier drei Runs mit unterschiedlichen Parameterausprägungen umfasst. Demnach wurden also drei ML-Modelle mit ebenfalls unterschiedlichen Evaluationsergebnissen trainiert, auf die im Detail auch einzeln aus dem Produktivskript zugegriffen werden kann.

Logging eines MLflow-Experimentes am Beispiel von Bestellmengenprognosen
Abb. 2: Das Logging eines MLflow Experiments am Beispiel einer Bestellmengenprognose. Drei Varianten eines ML-Modells werden mit verschiedenen Parameterausprägungen und Evaluationsergebnissen trainiert.

Fazit

Wollen Sie mehr zur erfolgreichen Umsetzung von KI-Projekten in Ihrem Unternehmen erfahren? Dann informieren Sie sich weiter auf der Seite Künstliche Intelligenz oder besuchen Sie unseren Workshop Künstliche Intelligenz Hands-on.

jetzt Teilen auf

Your email address will not be published. Required fields are marked *

Join #teamoraylispeople

Gestalte mit uns
die Welt der Daten