Tag: Python


Data Analytics next Generation – Kubernetes und Serverless erobern Enterprise Analytics

  • Data Analytics ist oftmals eine schwerwiegende Angelegenheit und kann in verteilten Teams zu Problemen führen
  • Der IT Betrieb hat immer mehr administrative Aufgaben zu erfüllen und steht einer zunehmenden Komplexität gegenüber. Eine Standardisierung ist hier zumindest von Seite der Data Analytics Tools mehr als wünschenswert
  • Kubernetes entwickelt sich mit Containern immer mehr zu einer Allzweckwaffe für Problemlösungen im IT Umfeld. Mit Spark und HDFS erobern nun auch andere Anwendungsszenarien die Orchestrierungs- und Management-Lösung
  • Serverless setzt seine Evolution und die Transformation des Cloud-Geschäfts fort. Mit Databricks Serverless zieht nun erstmals auch ein Dienst für Data Scientists in diese Welt ein

Continue reading “Data Analytics next Generation – Kubernetes und Serverless erobern Enterprise Analytics” »



Apache Storm gegen SAP Smart Data Streaming

Daten bestimmen den Pulsschlag der Unternehmen. Je langsamer und je weniger Daten fließen, umso ineffizienter kann beispielsweise eine Kundenbindung aufgebaut werden, eine Maschinensteuerung optimiert werden oder auf Notfälle reagiert werden. Denn ohne Datenströme bleibt die Echtzeitanalyse auf der Strecke mit deren Hilfe Optimierungen, Empfehlungen und Entscheidungen getroffen werden können. Für die Echtzeitanalyse von Daten gibt es am Markt einige, sich entwickelnde Technologien und auch etablierte Lösungen auf die man auch im Enterprise-Umfeld bauen kann. Um zwei Vertreter dieser Gattung einmal genauer zu beleuchten, wurden zwei unterschiedliche Kontrahenten ins Rennen geschickt. Mit der SAP Smart Data Streaming Plattform und dem Apache Storm Projekt haben wir sowohl einen sehr Enterprise-nahen Vertreter als auch einen Vertreter aus dem Open Source-Umfeld für diesen Anwendungsbereich herausgegriffen.

Continue reading “Apache Storm gegen SAP Smart Data Streaming” »



AWS Elastic Beanstalk unterstützt nun Python und eine nathlose Datenbankintegration

AWS Elastic Beanstalk unterstützt nun auch Python Applikationen. Das hat Amazon auf seinem Blog angekündigt. Elastic Beanstalk ist eine Art Platform-as-a-Service (PaaS) von Amazon über den PHP, Java, .NET und nun auch Python Anwendungen ausgerollt und verwaltet werden können. Dazu wird der jeweilige Anwendungscode in die Amazon Cloud hochgeladen und Elastic Beanstalk sorgt für das hochfahren entsprechender Amazon EC2 Instanzen, Load Balancer, das Auto Scaling und Monitoring.

AWS Elastic Beanstalk unterstützt nun Python und eine nathlose Datenbankintegration

Python in der Amazon Cloud

Elastic Beanstalk ist in der Lage Python Applikationen auszuführen, die für den Apache HTTP Server und WSGI bestimmt sind. Das bedeutet, dass Beanstalk ebenfalls Django und Flask Applikationen unterstützt. Neben der AWS Management Console lassen sich Anwendungen zusätzlich über eb und Git mit der Kommandozeilen ausrollen.

Integration mit Amazon RDS

Sollte eine Anwendung eine relationale Datenbank benötigen, ist Elastic Beanstalk in der Lage, eine Amazon RDS Datenbank Instanz für die Anwendung zu starten. Die RDS Datenbank Instanz wird dazu automatisch so konfiguriert, dass sie mit der Amazon EC2 Instanz kommuniziert, auf welcher sich die eigentliche Anwendung befindet.

Anpassen der Python Umgebung

Die eigene Python Laufzeitumgebung für Elastic Beanstalk kann mit einer Reihe von deklarativen Textdateien innerhalb der Anwendung angepasst werden. Sollte die Anwendung bspw. eine requirements.txt in der oberen Verzeichnisebene benötigen, sorgt Elastic Beanstalk mittels pip automatisch dafür, dass die entsprechenden Abhängigkeiten installiert werden.

Darüber bietet Elastic Beanstalk nun einen neuen Konfigurations-Mechanismus, mit dem Pakete über yum installiert, Skripte eingerichtet und Umgebungsvariablen gesetzt werden können. Dazu muss lediglich ein ".ebextensions" Verzeichnis innerhalb der Python Anwendung erstellt und dieses in die "python.config" eingetragen werden. Elastic Beanstalk lädt diese Konfigurationsdatei und installiert anschließend die yum Pakete, führt die Skripte aus und setzt die Umgebungsvariablen.

Snapshot der Logdateien erstellen

Um Probleme zu debuggen können ab sofort Snapshots aus der AWS Management Console erstellt werden. Elastic Beanstalk fasst die ersten 100 Zeilen aus verschiedenen Logdateien zusammen. Darunter die Apache Error Log. Die Snapshots werden in Amazon S3 gespeichert und automatisch nach 15 Minuten gelöscht.



Windows Azure Konkurrent AppHarbor ist nun in Europa verfügbar

AppHarbor ist ein .NET Platform-as-a-Service, den Entwickler in Kombination mit Git oder Mercurial nutzen können, um ihren Code zu übertragen. AppHarbor kompiliert im Anschluss den Code und führt eine Reihe von Unit Tests durch. Ist die Anwendung fehlerfrei, wird der Code auf die skalierbare Cloud Plattform von AppHarbor ausgerollt. Wie von PaaS Angeboten bekannt, können sich Entwickler bei der Nutzung von AppHarbor auf das Wesentliche konzentrieren und sich nicht um die Installation und Konfiguration der Server und Software kümmern.

Heroku ist ein Platform-as-a-Service, der unterschiedliche Programmiersprachen unterstützt. Die erste war Ruby im Jahr 2007 und wurde zu einem riesigen Erfolg. Es folgten weitere Sprachen wie Java, Node.js, Scala, Clojure, Python und PHP. AppHarbor machte sich im letzten Jahr daran "Heroku für .NET" zu unterstützen.

Zunächst war AppHarbor nur in den USA verfügbar. Seit gestern können nun auch europäische Entwickler den Service nutzen. Die Anwendungen aus der EU werden zwar weiterhin auf den Amazon Web Services gehostet, jedoch nun in der Region EU-West (Dublin) anstatt in der Region US-East, wo sich alle anderen Anwendungen befinden.

Alle Add-ons im AppHarbor Katalog funktionieren mit EU basierten Anwendungen. Einige, wie bspw. der SQL-Server werden je nach Ort der Anwendungen bereitgestellt. Für Add-ons, die derzeit die Nutzung in der EU nicht unterstützen, wird aktuell eine Benachrichtigung angezeigt, wenn das Add-on an eine EU Anwendung ausgerollt wird.

AppHarbor wurde entwickelt, um den Microsoft Windows Azure Einschränkungen, wie dem Lockin in Microsofts eigene Datenbank oder der nicht Unterstützung von Git, zu begegnen.