ML-Modelle für Data Scientists

Databricks schuf MLflow als Antwort auf den komplizierten Prozess der ML-Modellentwicklung. Traditionell war der Prozess der Erstellung, Schulung, Feinabstimmung, Bereitstellung und Verwaltung von ML-Modellen für Data Scientists und Entwickler äusserst schwierig. Im Gegensatz zur traditionellen Softwareentwicklung, bei der es nur um Codeversionen geht, müssen ML-Modelle auch Versionen von Datensätzen, Modellparametern und Algorithmen berücksichtigen. Dadurch entsteht ein exponentiell grösserer Satz von Variablen zur Erfassung und Verwaltung. Darüber hinaus ist ML ein sehr iterativer Prozess und stützt sich auf eine enge Zusammenarbeit zwischen Data- und Anwendungsteams. MLflow sorgt dafür, dass dieser Prozess gut zu bewältigen ist, indem es eine Plattform für die Verwaltung des gesamten Entwicklungszyklus von ML von der Datenvorbereitung bis zum Produktionseinsatz bietet, einschliesslich der Verfolgung von Experimenten (Versuchsprojekten), der Verpackung von Code in reproduzierbare Abläufe und der gemeinsamen Nutzung und Zusammenarbeit von Modellen.

Matei Zaharia, Schöpfer von Apache Spark und MLflow, hat die Neuigkeiten während seiner Keynote-Präsentation auf dem Spark + AI Summit vorgestellt. "MLflow ist zum Open-Source-Standard für Machine-Learning-Plattformen geworden, dank der Community der Mitwirkenden, die aus Hunderten von Ingenieuren aus über hundert Unternehmen besteht. Machine Learning verändert alle wichtigen Branchen und beeinflusst Milliarden von Entscheidungen im Einzelhandel, im Finanzwesen und im Gesundheitswesen. Unser Schritt, MLflow in die Linux Foundation einzubringen, ist eine Einladung an die Machine Learning Community, die besten Praktiken für ML-Engineering in eine Standardplattform zu integrieren, die offen, kooperativ und durchgängig ist."