Crisp’s Cloud Native Update 02/2019

  • Die Cloud Native Community wächst – in der Anzahl ihrer Mitglieder, der relevanten Projekte und Technologien und in der Wahrnehmung und dem Einsatz der Lösungen in den Unternehmen
  • Die spannendsten Projekte, die derzeit intensiv von der Community getestet werden, sind das frisch graduierte Fluentd sowie Helm, Project Harbor und Weave Flux
  • Prometheus ist zu einem der wichtigsten Monitoring-Plattformen für Cloud Native Architekturen aufgestiegen – wir haben uns die Architektur und Roadmap einmal angesehen
  • Beeindruckend ist, wie offen die CNCF mit dem Audit der 1,5 Mio. Codezeilen von Kubernetes umgeht. Trotz 37 Schwachstellen, darunter einer handvoll kritischer, ist das Interesse, die Weiterentwicklung sowie das Engagement und der Container-Standard ungebrochen hoch

Cloud Native ist kein Trendbegriff mehr, sondern schon jetzt einer der Designfaktoren für die digitalen Infrastrukturen unserer Zeit. Nicht nur innovative Developer-Teams, sondern auch Unternehmen entwickeln ihre Architekturen und Plattformen nach den Vorgaben in Sachen Performance, Flexibilität und Adaptierbarkeit.

Selbst für die Private-Cloud- und On-Premise-Welt setzen Cloud-Native-Technologien immer mehr Standards und bieten die Alternative zu klassisch proprietären Stacks. Die Innovationskraft und das Community Engagement der Cloud Native Community und aller zugehörigen Akteure gilt mittlerweile als Role Model für moderne Enterprise IT.

Aus diesem Grund werfen Entwickler, IT- und Cloud-Architekten, SREs und DevOps Engineers sowie IT-Entscheider einen gespannten Blick auf die Entwicklung der Cloud Native Landscape und deren Technologieanbieter und Dienstleister. In unserer Reihe “Crisp’s Cloud Native Update” möchten wir Ihnen regelmäßig die wichtigsten Neuigkeiten aus dem Cloud Native Universum präsentieren und analysieren diese für Sie.

Projekt Graduations und kommende Graduations auf der Watchlist

Auf dem Weg zur Enterprise-Tauglichkeit der Technologien ist der Graduation Prozess der CNCF ein wichtiger Faktor. Diesen werden alle CNCF-Projekte früher oder später durchlaufen. Im Hintergrund verantwortlich dafür ist das Technical Oversight Committee (TOC), das aus mehreren Personen besteht und die technische Vision der CNCF lenkt und Projekte und Technologien in Abstimmung mit der Community prüft und weiterbringt.

Ein Service innerhalb der Cloud Native Computing Foundation kann drei Zustände besitzen:

  • Inception/Sandbox: Neue Technologien, die den Standards der CNCF entsprechen und mindestens 2 TOCs als Unterstützer haben
  • Incubation: In der Wachstumsphase müssen die Technologien in mindestens drei End User Architekturen verwendet werden und ein kritisches Maß an Kontributoren überschreiten
  • Gradution: Als graduierte Services gelten diejenigen, die Committers aus mindestens zwei Organisationen besitzen, einen unabhängigen Security-Audit durchlaufen haben, den CNCF Code of Conduct adaptieren und eine größere Zahl an Adopters, sowie Votes aus dem TOC Kommittee besitzen.

Darüber hinaus hat die CNCF mit seinen Services für das Licence Checking sowie der Überprüfung von Intellectual Property-Fragen wichtige Erweiterungen vorgenommen.

Quelle: https://www.cncf.io/projects/

Seit unserem letzten Update ist mit Fluentd ein neues Projekt in den Graduated”-Status aufgestiegen. Damit zählt die CNCF nun sechs Graduated Projects: Kubernetes, Prometheus, Envoy, CoreDNS, containerd und nun Fluentd. 

Fluentd selbst gehört seit 2016 zum Kreis der Incubated Projects der CNCF. Der Dienst hilft dabei, Logging-Prozesse zu vereinheitlichen und zu automatisieren. Die Ruby-basierte Anwendung sammelt Logging Daten von Servern oder Embedded Geräten und konsolidiert sie auf einem einheitlichen Layer. In Microservices basierten Cloud-Architekturen, die zahlreiche Datenquellen und Nutzungsmöglichkeiten für Logdaten besitzen, ist Fluentd mit über 900 Plugins und Standard-APIs somit ein zunehmend wichtiger Baustein. Mit der Graduation steigt Fluentd nun zu den Top Adressen der CNCF auf und sollte sich weiterhin mit dem Ausbau seiner Dienste in Sachen Standard-Integrationen und Enterprise- bzw. Security-Features beschäftigen. 

Quelle: https://www.fluentd.org/architecture

Zahlreiche Projekte sind derzeit noch im Incubator-Status der CNCF. Dazu zählen mit Helm und Harbor zwei sehr interessante Optionen, die schon heute in zahlreichen Architekturen genutzt werden. 

Helm ist ein Paketmanager für Kubernetes, der u.a. von Google, Microsoft und Bitnami getrieben wird. Damit kann die Verwaltung von Kubernetes-Applikationen, insbesondere deren veränderlicher Bestandteile, besser umgesetzt werden. So können bestimmte Werte und Zustände in Helm definiert werden, die nicht mehr manuell für jeden einzelnen Kubernetes-Primitive (Pod/ Deployment/Service) festgelegt werden müssen, sondern gemeinsam verwaltet werden (Templating). 

Bemi Project Harbor handelt es sich um eine Cloud Native Registry und Image-Verwaltung. Als Multi-Tenant-Tool ermöglicht Harbor Container Cluster über mehrere Infrastrukturen hinweg sicher und ineinander integriert zu betreiben. Mit Hilfe von Vulnerability Scans können Schwachstellen innerhalb der Konfiguration erkannt werden. Die weiteren Features von Harbor sorgen insgesamt dafür, dass einheitliche und abgestimmte Container Cluster in Hybrid und Multi-Cloud-Architekturen betrieben werden können.

Im noch frühen Sandbox Stadium befindet sich derzeit auch Flux von Weaveworks. Damit bestätigt die CNCF vor allem die Annahme, dass GitOps in den kommenden Monaten noch deutlich an Bedeutung gewinnen wird. Crisp Research hatte dort bereits so ein Bauchgefühl”.

Helm, Harbor und Weave Flux sind nur drei von zahlreichen Beispielen, die schon heute weltweit häufig erfolgreich eingesetzt werden. Sie müssen sich nun in Sachen Stabilität, Wachstum und in Bezug auf Rückhalt und Förderung der Community beweisen, sodass sie möglicherweise bald als Graduated Projects zu den wichtigsten Standards des CNCF-Universums zählen. 

Neue Mitglieder der CNCF

Die Cloud Native Computing Foundation zählt mittlerweile über 400 aktive Mitglieder. Darunter sind vor allem zahlreiche internationale Startups und Entwicklerteams. Immer wieder kommen aber auch einige prominente Namen zur Liste hinzu, die den Mix aus Enterprise-Readiness und globalem Footprint mit der Innovationskraft und Flexibilität aus der Startup Community erst möglich machen.

Wesentliche neue Mitglieder der letzten Monate auf Providerseite sind vor allem Cloud Datenbankmanager Aiven, Datenmanagement & Backup Provider Commvault, Software Management-Anbieter Microfocus sowie Pega oder Samsung Electronics Networks. 

Mit Verizon und Vodafone sind zusätzlich zwei der größten Netzwerkanbieter weltweit Teil der Community geworden. Insbesondere Vodafone arbeitet derzeit an vielen Inkubatorprojekten und positioniert sich als Technologie- und Serviceprovider stärker in Richtung der Cloud Native Standards. 

Die Tochter der Reply Gruppe Storm Reply gehört zu den deutschen Neuzugängen der CNCF. Als Managed Public Cloud Provider mit hohem Amazon Web Services Fokus bot es sich an, die CNCF stärker ins Auge zu fassen, besonders nachdem auch AWS sein Commitment in Richtung Kubernetes noch einmal bekräftigt hat. 

Unter den End-User-Mitgliedern folgen noch zwei besonders prominente Namen. Mit Apple und LinkedIn kommen zwei Unternehmen hinzu, die heute wie zukünftig eine enorme Reichweite in ihren Produkten besitzen und noch immer die Trends in Sachen User Experience, Service Experience und damit auch der digitalen Infrastrukturen prägen. 

Damit liefern sie die Bestätigung, welchen Stellenwert Cloud Native Technologien, Services und Projekte zukünftig einnehmen können.

Neue Announcements

Diesem Stellenwert sind sich die zertifizierten Kubernetes Service Provider sicherlich schon seit einiger Zeit bewusst. Das Programm, das die CNCF betreibt, wird von den führenden Service Providern weltweit sehr gut angenommen. Mittlerweile zählen über 100 Diensleister zu den Kubernetes Certified Service Providern (KCSP). Diese verfügen allesamt über eine CNCF-Mitgliedschaft, das entsprechende Dienstleistungsangebot und Geschäftsmodell sowie mindestens drei zertifizierte Kubernetes Administratoren (CKA). 

Die Zahl der zertifizierten Dienstleister wird zukünftig noch weiter steigen. Der Bedarf an Kubernetes Know-how in den Unternehmen ist immens, der Nachwuchs in Sachen Talente und Experten dagegen beschränkt. Entscheider sollten daher schon heute bei der Dienstleisterwahl für ihre Cloud und Digital-Infrastruktur auf Kubernetes-Expertise achten. Das vorhandene Know-how ist wichtig, um Unternehmen erfolgreich begleiten zu können und nicht nur die Standards der Cloud- und Infrastruktur-Welt zu beherrschen.

Quelle: https://www.cncf.io/wp-content/uploads/2019/07/image1-1024x227.png 

Damit verbunden, vereinfacht auch die CNCF die Rahmenbedingungen für seine Partner und zertifizierten Admins. Die CKA Administratorenzertifizierung ist ab sofort für drei und nicht nur für zwei Jahre gültig, sodass die Entwickler und Admins trotz ständiger Veränderung der CNCF- und Kubernetes-Architektur ihren Turnus etwas entlasten können. 

Featured Project: Prometheus

Background & Historie

Prometheus ist ein Open Source Monitoring Werkzeug, das vor allem für Microservices-basierte Cloud Native Infrastrukturen mit hoher Skalierfähigkeit entwickelt wurde. 

Hinter Prometheus steckt ursprünglich der Musikstreamingdienst Soundcloud, der im Jahr 2012 für seine High Performance Infrastruktur auf der Suche nach einem Monitoring-Tool nicht fündig geworden ist. Seit 2016 ist Prometheus mit der Version 1.0 Teil der Cloud Native Computing Foundation und damit für externe Entwickler und Unternehmen noch einfacher nutzbar. Wichtige Kontributoren sind derzeit vor allem DigitalOcean, Weaveworks oder Uber. 

Seit August 2018 ist Prometheus das 2. Projekt, das den Graduated Status der CNCF erreicht hat. Damit folgte Prometheus direkt auf Kubernetes. 

Seit der Incubation und Graduation Phase arbeiten rund 20+ Entwickler an der Stabilität und Erweiterung des Feature Sets des Open Source Monitoring Services. Dabei spielt mehr denn je die große Community und das Wachstum der Nutzer in und um die CNCF eine wichtige Rolle. 

Einsatzzweck & Architektur

Prometheus hat es sich zum Ziel gesetzt, im Gegensatz zu den klassischen Monitoring-Plattformen vor allem bei hochskalierbaren, microservices-basierten Cloud Native Architekturen zu glänzen. Das Grundkonzept geht über das reine Monitoring hinaus und ermöglicht Alerting und Trending ermöglichen. Weiterhin nutzt Prometheus das Pull-Prinzip, sodass es relevante Monitoring Daten von einem jeweiligen Dienst selbst abfragt, als dass es diese empfängt. Die Messdaten werden dann in einer Timeseries Datenbank. Neben der hauseigenen Datenbank gibt es eine Reihen von Integration. So können die Daten etwa Richtung InfluxDB, TimescaleDB oder Kafka gespiegelt werden.  . 

Mit Hilfe dieser Voraussetzungen können wichtige Funktionen bei der Infrastruktur-Administration schneller, proaktiver und mit konkreten Lösungsansätzen erfüllt werden. Für die Automatisierung von Monitoring und Incident Management ist dies eine wichtige Voraussetzung.

Quelle: https://prometheus.io/assets/architecture.png 

Die Prometheus-Architektur besteht tatsächlich aus mehreren Komponenten. Neben dem Prometheus Server gehören das optionale Push-Gateway, ein Alertmanager sowie Grafana als Webinterface zur Architektur. Über die Exporter können unterschiedlichste Technologiekomponenten wie Datenbanken, VMs oder Container von Prometheus überwacht werden. 

Mit Hilfe des Alertmanagers können Alerts über verschiedene Kanäle versendet oder direkt über einen Bot o.ä. kanalisiert werden. 

Mit Hilfe von Grafana können darüber hinaus eigene Visualisierungen und Dashboards für die optimale Nutzung der gewonnenen Daten ausgegeben werden. 

Auf Basis von Prometheus hat Cortex, als Sandbox-Projekt der CNCF ein Produkt entwickelt, das die Lösung im Hinblick auf Multi Tenancy, Authentifizierung und Storage weiter optimiert. Dies sollten die Entscheider definitiv im Auge behalten, um Prometheus in erweiterter Funktion zu nutzen. 

Connections 

Die wichtigste Prometheus-Integration auf der Plattform ist erst einmal Grafana, um die Visualisierung der Daten als integriertes Feature zu sichern.

Neben zahlreichen Datenbank-, Messaging-, Storage- oder anderen Monitoring-Systemen sind beispielsweise auch Logging-Systeme wie Fluentd und natürlich Cloud-Infrastrukturen und Containerdienste die wichtigsten Integrationen. So wird Prometheus standardmäßig an die wichtigsten Tools der Google Cloud, AWS, Microsoft Azure, Alibaba, OpenStack oder Docker angeschlossen.

Einschätzung Crisp Research

Prometheus setzt den Standard für Monitoring, Alerting und Trending für Microservices- und Cloud-Native-Architekturen. Das Momentum, das Prometheus insbesondere seit der starken Präsenz in der CNCF-Community erfährt, hilft den Entwicklern hinter dem Projekt besonders, wenn es darum geht, die Enterprise-Readiness weiter zu erfüllen.

Insbesondere die Stabilität und Investitionssicherheit in das Tool muss gegeben sein. Das Commitment in den passenden Monitoring/MAT-Stack muss auf einer starken und langfristig ausgelegten Basis beruhen.

Die Tatsache, dass Prometheus aber schon jetzt von zahlreichen Unternehmen genutzt wird, die wichtigsten Integrationen existieren und Erfahrungswerte und Wünsche der User direkt in die Entwicklungsroadmap aufgenommen werden, macht Prometheus aber schon heute zur ernsten Alternative und zur “Top Choice” beim Aufbau von skalierbaren digitalen Infrastrukturen und microservices basierten Cloud Native Architekturen. 

Und sonst noch so?

Auch für Kubernetes, den Shooting Start der CNCF, waren die vergangenen Monate sehr aufregend. Neben zahlreichen neuen Projekten und Installationen sowie immer mehr integrierten Tools aus der Community gab es sowohl weitere Erfolge als auch Dämpfer zu vermelden.

Zunächst einmal wächst und diversifiziert sich die Community um Kubernetes immer weiter. Denn die Zahl der Contributing Companies stieg auf mittlerweile über 315 Unternehmen. Somit kommen viele neue Impulse hinzu, die Kubernetes den immer neuen Feinschliff verpassen. Das wird auch bei der Code Diversity, also der Verteilung der Codezeilen aus den Contributing Companies und Developers, deutlich. Hier bleibt Google als Kubernetes-Mutter noch immer obenauf. Der Anteil der sonstigen großen und kleinen Kontributoren wächst dagegen besonders stark und nimmt damit einen wichtigen Teil der Technologie ein.

Quelle: https://www.cncf.io/wp-content/uploads/2019/08/charts-new-05.svg 

Quelle: https://www.cncf.io/wp-content/uploads/2019/08/charts-new-02.svg 

Ein wenig Schatten und neue Arbeit hat das jüngste und erste Security Audit von Kubernetes aufgeworfen. Innerhalb der Community wurden über 1,5 Millionen Zeilen Code analysiert. Unter dem Strich kamen 37 Auffälligkeiten heraus. Dies ist im Vergleich zu der riesigen Architektur eine kleine Zahl. Auch sind davon nicht alle als kritisch einzustufen. Unter ihnen sind vor allem die folgenden:

  • Insecure TLS is in use by default
  • Credentials are exposed in environment variables and command-line arguments
  • Names of secrets are leaked in logs
  • No certificate revocation
  • seccomp is not enabled by default

Die Community hat sich bereits an die Arbeit gemacht und erste Empfehlungen zur Verbesserung dieser Auffälligkeiten präsentiert. Der Schaden für Kubernetes wird sich unter dem Strich in Grenzen halten. Das Audit zeigt vor allem, dass die CNCF und Kubernetes sich solchen Anforderungen auch stellen und in Richtung Enterprise-Adoption und Security eine klare Roadmap besitzen. Der offene Umgang mit solchen Ergebnissen und die damit verbundene Transparenz ist beeindruckend und ein Vorbild für alle Anbieter, die kritische Technologiekomponenten für digitale Infrastrukturen liefern.

Wir freuen uns über jegliche Anregungen und Feedback zu Crisp’s Cloud Native Quarterly und über spannende Diskussionen um die Services und Trends!

Mehr zu den Themen Cloud Native Computing Foundation cloud-native CNCF Container Flux Helm Kubernetes Prometheus Weaveworks

Share on:


Über den Autor:

Senior Analyst & Cloud Practice Lead

Maximilian HilleMaximilian Hille ist Senior Analyst und Practice Lead bei Crisp Research. Als Cloud Practice Lead leitet er alle Research- und Beratungsaktivitäten zu den Themen Cloud-Architektur, Cloud-Native Technologies, Managed Cloud Services, Digital Workplace und Mobility.

Zuvor war er Research Manager in der „Cloud Computing & Innovation Practice“ der Experton Group AG. Maximilian Hille studierte Wirtschaftswissenschaften mit dem Schwerpunkt Wirtschaftsinformatik.

Seine Schwerpunktthemen sind Cloud Platforms, Cloud Architecture Design, Hybrid & Multi Cloud Computing, Cloud-Native Architectures, Digital Workplace, Collaboration, Enterprise Mobility und Mobile Business. Maximilian Hille war Jurymitglied bei den Global Mobile Awards 2016, 2017 und 2018.