Streaming Architecture

New Designs Using Apache Kafka and Mapr Streams

Author: Ted Dunning,Ellen Friedman, M.D.

Publisher: "O'Reilly Media, Inc."

ISBN: 149195390X

Category:

Page: 120

View: 4423

More and more data-driven companies are looking to adopt stream processing and streaming analytics. With this concise ebook, you'll learn best practices for designing a reliable architecture that supports this emerging big-data paradigm. Authors Ted Dunning and Ellen Friedman (Real World Hadoop) help you explore some of the best technologies to handle stream processing and analytics, with a focus on the upstream queuing or message-passing layer. To illustrate the effectiveness of these technologies, this book also includes specific use cases. Ideal for developers and non-technical people alike, this book describes: Key elements in good design for streaming analytics, focusing on the essential characteristics of the messaging layerNew messaging technologies, including Apache Kafka and MapR Streams, with links to sample codeTechnology choices for streaming analytics: Apache Spark Streaming, Apache Flink, Apache Storm, and Apache ApexHow stream-based architectures are helpful to support microservicesSpecific use cases such as fraud detection and geo-distributed data streams Ted Dunning is Chief Applications Architect at MapR Technologies, and active in the open source community. He currently serves as VP for Incubator at the Apache Foundation, as a champion and mentor for a large number of projects, and as committer and PMC member of the Apache ZooKeeper and Drill projects. Ted is on Twitter as @ted_dunning. Ellen Friedman, a committer for the Apache Drill and Apache Mahout projects, is a solutions consultant and well-known speaker and author, currently writing mainly about big data topics. With a PhD in Biochemistry, she has years of experience as a research scientist and has written about a variety of technical topics. Ellen is on Twitter as @Ellen_Friedman.

Docker

Software entwickeln und deployen mit Containern

Author: Adrian Mouat

Publisher: dpunkt.verlag

ISBN: 3960880375

Category: Computers

Page: 368

View: 5063

Docker-Container bieten eine einfache, schnelle und robuste Möglichkeit, Software zu entwickeln, zu verteilen und laufen zu lassen – besonders in dynamischen und verteilten Umgebungen. Mit diesem praktischen Leitfaden lernen Sie, warum Container so wichtig sind, was durch den Einsatz von Docker möglich ist und wie Sie es in Ihren Entwicklungsprozess einbinden. Dieses Buch ist aktuell zu Docker 1.12 und ideal für Entwickler, Operations-Techniker und Administratoren – insbesondere, wenn Sie einen DevOps-Ansatz verfolgen. Es nimmt Sie mit auf eine Reise von den Grundlagen bis zum Ausführen Dutzender Container auf einem Multi-Host-System mit Networking und Scheduling. Im Verlauf des Buches erfahren Sie, welche Schritte zum Entwickeln, Testen und Bereitstellen einer Webanwendung mit Docker notwendig sind. • Beginnen Sie mit Docker, indem Sie eine einfache Webanwendung entwickeln und bereitstellen. • Nutzen Sie Techniken aus dem Continuous Deployment, um Ihre Anwendung mehrmals pro Tag in die Produktivumgebung zu bringen. • Lernen Sie Optionen und Techniken kennen, um mehrere Container gleichzeitig zu protokollieren und zu überwachen. • Befassen Sie sich mit dem Erkennen im Netzwerk und mit Services: Wie finden sich Container gegenseitig und wie verbinden Sie sie? • Orchestrieren und clustern Sie Container, um Load Balancing zu ermöglichen, Ihr System skalierbar zu machen sowie Failovers und Scheduling umzusetzen. • Sichern Sie Ihr System, indem Sie den Prinzipien der "Defense in Depth" und dem Konzept der geringsten Rechte folgen. • Setzen Sie Container ein, um eine Microservices-Architektur aufzubauen.

Microservices

Konzeption und Design

Author: Sam Newman

Publisher: MITP-Verlags GmbH & Co. KG

ISBN: 3958450830

Category: Computers

Page: 312

View: 9310

Feingranulare Systeme mit Microservices aufbauen Design, Entwicklung, Deployment, Testen und Monitoring Sicherheitsaspekte, Authentifizierung und Autorisierung Verteilte Systeme haben sich in den letzten Jahren stark verändert: Große monolithische Architekturen werden zunehmend in viele kleine, eigenständige Microservices aufgespalten. Aber die Entwicklung solcher Systeme bringt Herausforderungen ganz eigener Art mit sich. Dieses Buch richtet sich an Softwareentwickler, die sich über die zielführenden Aspekte von Microservice-Systemen wie Design, Entwicklung, Testen, Deployment und Monitoring informieren möchten. Sam Newman veranschaulicht und konkretisiert seine ganzheitliche Betrachtung der grundlegenden Konzepte von Microservice-Architekturen anhand zahlreicher praktischer Beispiele und Ratschläge. Er geht auf die Themen ein, mit denen sich Systemarchitekten und Administratoren bei der Einrichtung, Verwaltung und Entwicklung dieser Architekturen in jedem Fall auseinandersetzen müssen. Aus dem Inhalt: Vorteile von Microservices Gestaltung von Services Ausrichtung der Systemarchitektur an der Organisationsstruktur Möglichkeiten zur Integration von Services Schrittweise Aufspaltung einer monolithischen Codebasis Deployment einzelner Microservices mittels Continuous Integration Testen und Monitoring verteilter Systeme Sicherheitsaspekte Authentifizierung und Autorisierung zwischen Benutzer und Service bzw. zwischen Services untereinander Skalierung von Microservice-Architekturen »Microservice-Architekturen besitzen viele interessante Eigenschaften, allerdings sind bei der Umstellung so einige Fallstricke zu beachten. Dieses Buch wird Ihnen helfen herauszufinden, ob Microservices für Ihre Zwecke geeignet sind und zeigt Ihnen, wie Sie die Fallstricke umgehen können.« Martin Fowler, Chief Scientist, ThoughtWorks

Big Data in der Praxis

Beispiellösungen mit Hadoop und NoSQL. Daten speichern, aufbereiten, visualisieren

Author: Jonas Freiknecht

Publisher: Carl Hanser Verlag GmbH Co KG

ISBN: 3446441778

Category: Computers

Page: 448

View: 1290

BIG DATA IN DER PRAXIS // - Für Analysten, BI-Verantwortliche, Data-Scientists, Consultants - Auf der DVD finden Sie: 18 fertige Projekte, die im Buch Schritt für Schritt entwickelt werden; Videotutorials u.a. zur Installation von Hadoop, Hive, HBase (Gesamtdauer: 80 Min.); Testdatensätze für die Wissensdatenbank Dieses Buch bringt Ihnen das Thema Big Data auf sehr praktische Art und Weise nahe. Sie lernen Technologien, Tools und Methoden kennen, entwickeln Beispiel-Lösungen und bekommen aufgezeigt, wie Sie bestehende Systeme vorausschauend auf die mit dem Big Data-Trend einhergehenden Herausforderungen vorbereiten. Dazu werden Sie neben den bekannten Apache-Projekten wie Hadoop, Hive und HBase auch einige weniger bekannte Frameworks wie Apache UIMA oder Apache OpenNLP kennenlernen, um gezielt die Verarbeitung unstrukturierter Daten zu behandeln. Alle hier verwendeten Software-Komponenten stehen im vollen Umfang kostenlos im Internet zur Verfügung. Gemeinsam mit dem Autor werden Sie ganz konkret Schritt für Schritt viele kleinere Projekte aufbauen bis hin zu einer fertigen und funktionstüchtigen Implementierung. Ziel des Buches ist es, Sie auf den Effekt und den Mehrwert der neuen Möglichkeiten aufmerksam zu machen, sodass Sie diese konstruktiv in Ihr Unternehmen tragen können und für sich und Ihre Kollegen somit ein Bewusstsein für den Wert Ihrer Daten schaffen. AUS DEM INHALT // Einführung rund um Big Data // Hadoop installieren, konfigurieren & bedienen // HDFS, Map-Reduce & YARN: Daten speichern und verarbeiten // Hadoop-Ecosystem: Überblick über dessen Komponenten // Einführung in NoSQL // HBase installieren, einrichten & auf Daten zugreifen // Data-Warehousing mit Apache Hive // HiveQL als Abfragesprache, Hive Security, Hive & JDBC // Datenimport aus relationalen Datenbanken mit Sqoop // Big Data-Visualisierung: Diagrammarten, Tipps & Trends // Visualisierungs-Frameworks im Vergleich // D3.js: Entwicklung einiger Beispieldiagramme // Entwicklung einer abschließenden Big Data-Analyse-Lösung // Troubleshooting für die Arbeit mit Hadoop, Hive & HBase

Anteil EPB

Author: Heinrich Holland

Publisher: Springer-Verlag

ISBN: 3658229292

Category:

Page: N.A

View: 4644

Performance Evaluation and Benchmarking for the Analytics Era

9th TPC Technology Conference, TPCTC 2017, Munich, Germany, August 28, 2017, Revised Selected Papers

Author: Raghunath Nambiar,Meikel Poess

Publisher: Springer

ISBN: 3319724010

Category: Computers

Page: 185

View: 4882

This book constitutes the thoroughly refereed post-conference proceedings of the 8th TPC Technology Conference, on Performance Evaluation and Benchmarking, TPCTC 2017, held in conjunction with the43rd International Conference on Very Large Databases (VLDB 2017) in August/September 2017. The 12 papers presented were carefully reviewed and selected from numeroussubmissions. The TPC remains committed to developing new benchmark standards to keep pace with these rapid changes in technology.

Hands-On Big Data Modeling

Effective database design techniques for data architects and business intelligence professionals

Author: James Lee,Tao Wei,Suresh Kumar Mukhiya

Publisher: Packt Publishing Ltd

ISBN: 1788626087

Category: Computers

Page: 306

View: 5616

Solve all big data problems by learning how to create efficient data models Key Features Create effective models that get the most out of big data Apply your knowledge to datasets from Twitter and weather data to learn big data Tackle different data modeling challenges with expert techniques presented in this book Book Description Modeling and managing data is a central focus of all big data projects. In fact, a database is considered to be effective only if you have a logical and sophisticated data model. This book will help you develop practical skills in modeling your own big data projects and improve the performance of analytical queries for your specific business requirements. To start with, you’ll get a quick introduction to big data and understand the different data modeling and data management platforms for big data. Then you’ll work with structured and semi-structured data with the help of real-life examples. Once you’ve got to grips with the basics, you’ll use the SQL Developer Data Modeler to create your own data models containing different file types such as CSV, XML, and JSON. You’ll also learn to create graph data models and explore data modeling with streaming data using real-world datasets. By the end of this book, you’ll be able to design and develop efficient data models for varying data sizes easily and efficiently. What you will learn Get insights into big data and discover various data models Explore conceptual, logical, and big data models Understand how to model data containing different file types Run through data modeling with examples of Twitter, Bitcoin, IMDB and weather data modeling Create data models such as Graph Data and Vector Space Model structured and unstructured data using Python and R Who this book is for This book is great for programmers, geologists, biologists, and every professional who deals with spatial data. If you want to learn how to handle GIS, GPS, and remote sensing data, then this book is for you. Basic knowledge of R and QGIS would be helpful.

Programmieren mit Scala

Author: Dean Wampler,Alex Payne

Publisher: O'Reilly Germany

ISBN: 3897216485

Category: Computers

Page: 480

View: 5900

Sie ist elegant, schlank, modern und flexibel: Die Rede ist von Scala, der neuen Programmiersprache für die Java Virtual Machine (JVM). Sie vereint die Vorzüge funktionaler und objektorientierter Programmierung, ist typsicherer als Java, lässt sich nahtlos in die Java-Welt integrieren – und eine in Scala entwickelte Anwendung benötigt oft nur einen Bruchteil der Codezeilen ihres Java-Pendants. Kein Wunder, dass immer mehr Firmen, deren große, geschäftskritische Anwendungen auf Java basieren, auf Scala umsteigen, um ihre Produktivität und die Skalierbarkeit ihrer Software zu erhöhen. Das wollen Sie auch? Dann lassen Sie sich von den Scala-Profis Dean Wampler und Alex Payne zeigen, wie es geht. Ihre Werkzeugkiste: Schon bevor Sie loslegen, sind Sie weiter, als Sie denken: Sie können Ihre Java-Programme weiter verwenden, Java-Bibliotheken nutzen, Java von Scala aus aufrufen und Scala von Java aus. Auch Ihre bevorzugten Entwicklungswerkzeuge wie NetBeans, IntelliJ IDEA oder Eclipse stehen Ihnen weiter zur Verfügung, dazu Kommandozeilen-Tools, Plugins für Editoren, Werkzeuge von Drittanbietern – und natürlich Ihre Programmiererfahrung. In Programmieren mit Scala erfahren Sie, wie Sie sich all das zunutze machen. Das Hybridmodell: Die Paradigmen "funktional" und "objektorientiert" sind keine Gegensätze, sondern ergänzen sich unter dem Scala-Dach zu einem sehr produktiven Ganzen. Nutzen Sie die Vorteile funktionaler Programmierung, wann immer sich das anbietet – und seien Sie so frei, auf die guten alten Seiteneffekte zu bauen, wenn Sie das für nötig halten. Futter für die Profis: Skalierbare Nebenläufigkeit mit Aktoren, Aufzucht und Pflege von XML mit Scala, Domainspezifische Sprachen, Tipps zum richtigen Anwendungsdesign – das sind nur ein paar der fortgeschrittenen Themen, in die Sie mit den beiden Autoren eintauchen. Danach sind Sie auch Profi im Programmieren mit Scala.

Kubernetes

Eine kompakte Einführung

Author: Kelsey Hightower,Brendan Burns,Joe Beda

Publisher: dpunkt.verlag

ISBN: 396088429X

Category: Computers

Page: 204

View: 6807

Es heißt, dass Google über zwei Milliarden Anwendungscontainer pro Woche deployt. Wie ist das möglich? Diese Frage hat Google mit einem Projekt namens Kubernetes beantwortet, einem Cluster-Orchestrierer, der das Bauen, Deployen und Warten skalierbarer, verteilter Systeme in der Cloud radikal vereinfacht. Dieser praktische Leitfaden zeigt Ihnen, wie Kubernetes und die Container-Technologie Ihnen helfen können, in Bezug auf Schnelligkeit, Agilität, Zuverlässigkeit und Effizienz in ganz neue Bereiche vorzudringen. Die Autoren Kelsey Hightower, Brendan Burns und Joe Beda haben bei Google und in anderen Firmen mit Kubernetes gearbeitet und erklären Ihnen, wie sich dieses System in den Lebenszyklus einer verteilten Anwendung einfügt. Sie werden lernen, wie Sie Tools und APIs einsetzen, um skalierbare, verteilte Systeme zu automatisieren – egal ob es sich um Online-Services, Systeme zum maschinellen Lernen oder ein Cluster aus Raspberry Pis handelt. Lernen Sie die Herausforderungen verteilter Systeme kennen, die Sie mit Kubernetes angehen können.Tauchen Sie ein in die containerisierte Anwendungsentwicklung und nutzen Sie dabei zum Beispiel Docker-Container.Erstellen Sie Container im Docker-Image-Format mit Kubernetes und lassen Sie sie über die Docker-Runtime ausführen.Begutachten Sie die zentralen Konzepte und API-Objekte von Kubernetes, die notwendig sind, um Anwendungen produktiv laufen zu lassen.Rollen Sie neue Softwareversionen zuverlässig ohne Downtime oder Fehler aus.Lernen Sie aus Beispielen zum Entwickeln und Deployen realer Anwendungen in Kubernetes.

Handbook of e-Business Security

Author: João Manuel R.S. Tavares,Brojo Kishore Mishra,Raghvendra Kumar,Noor Zaman,Manju Khari

Publisher: CRC Press

ISBN: 0429887078

Category: Business & Economics

Page: 398

View: 8545

There are a lot of e-business security concerns. Knowing about e-business security issues will likely help overcome them. Keep in mind, companies that have control over their e-business are likely to prosper most. In other words, setting up and maintaining a secure e-business is essential and important to business growth. This book covers state-of-the art practices in e-business security, including privacy, trust, security of transactions, big data, cloud computing, social network, and distributed systems.

XSLT-Kochbuch

Author: Sal Mangano

Publisher: Springer DE

ISBN: 9783897214576

Category: XML (Document markup language)

Page: 735

View: 4865

Java in a nutshell

deutsche Ausgabe für Java 1.4

Author: David Flanagan

Publisher: O'Reilly Germany

ISBN: 9783897213326

Category: Java (Computer program language)

Page: 1084

View: 4283

Gehe hin, stelle einen Wächter

Roman

Author: Harper Lee

Publisher: DVA

ISBN: 3641179491

Category: Fiction

Page: 320

View: 7227

Sensationeller Manuskriptfund - das literarische Ereignis im Sommer 2015 Harper Lee hat bisher nur einen Roman veröffentlicht, doch dieser hat der US-amerikanischen Schriftstellerin Weltruhm eingebracht: „Wer die Nachtigall stört“, erschienen 1960 und ein Jahr später mit dem renommierten Pulitzer-Preis ausgezeichnet, ist mit 40 Millionen verkauften Exemplaren und Übersetzungen in mehr als 40 Sprachen eines der meistgelesenen Bücher weltweit. Mit „Gehe hin, stelle einen Wächter“ – zeitlich vor „Wer die Nachtigall stört“ entstanden – erscheint nun das Erstlingswerk. Das Manuskript wurde nie veröffentlicht und galt als verschollen – bis es eine Freundin der inzwischen 89-jährigen Autorin im September 2014 fand. In „Gehe hin, stelle einen Wächter“ treffen wir die geliebten Charaktere aus „Wer die Nachtigall stört“ wieder, 20 Jahre später: Eine inzwischen erwachsene Jean Louise Finch, „Scout“, kehrt zurück nach Maycomb und sieht sich in der kleinen Stadt in Alabama, die sie so geprägt hat, mit gesellschaftspolitischen Problemen konfrontiert, die nicht zuletzt auch ihr Verhältnis zu ihrem Vater Atticus infrage stellen. Ein Roman über die turbulenten Ereignisse im Amerika der 1950er-Jahre, der zugleich ein faszinierend neues Licht auf den Klassiker wirft. Bewegend, humorvoll und überwältigend – ein Roman, der seinem Vorgänger in nichts nachsteht.

Big Data, Fast Data

Author: Michael Lex,Dr. Daniel Pape,Jochen Mader,Matthias Niehoff

Publisher: N.A

ISBN: 3868027394

Category: Computers

Page: 48

View: 6865

Die Big-Data-Welt verändert sich. Mit diesem shortcut erfahren Sie, was hinter den Begriffen Fast Data und SMACK steckt, wie Daten mittels Kafka und Akka ins System kommen und auf welche Art und Weise eine Datenanalyse mit Spark und Apache Zeppelin funktioniert. Im abschließenden Kapitel erläutern die Autoren, wie Daten unter Verwendung von Spark und Cassandra gespeichert, verarbeitet, aktualisiert und mit weiteren Informationen zusammengebracht werden können.

Spring im Einsatz

Author: Craig Walls

Publisher: Carl Hanser Verlag GmbH Co KG

ISBN: 3446429468

Category: Computers

Page: 428

View: 7717

SPRING IM EINSATZ // - Spring 3.0 auf den Punkt gebracht: Die zentralen Konzepte anschaulich und unterhaltsam erklärt. - Praxis-Know-how für den Projekteinsatz: Lernen Sie Spring mit Hilfe der zahlreichen Codebeispiele aktiv kennen. - Im Internet: Der vollständige Quellcode für die Applikationen dieses Buches Das Spring-Framework gehört zum obligatorischen Grundwissen eines Java-Entwicklers. Spring 3 führt leistungsfähige neue Features wie die Spring Expression Language (SpEL), neue Annotationen für IoC-Container und den lang ersehnten Support für REST ein. Es gibt keinen besseren Weg, um sich Spring anzueignen, als dieses Buch - egal ob Sie Spring gerade erst entdecken oder sich mit den neuen 3.0-Features vertraut machen wollen. Craig Walls setzt in dieser gründlich überarbeiteten 2. Auflage den anschaulichen und praxisorientierten Stil der Vorauflage fort. Er bringt als Autor sein Geschick für treffende und unterhaltsame Beispiele ein, die das Augenmerk direkt auf die Features und Techniken richten, die Sie wirklich brauchen. Diese Auflage hebt die wichtigsten Aspekte von Spring 3.0 hervor: REST, Remote-Services, Messaging, Security, MVC, Web Flow und vieles mehr. Das finden Sie in diesem Buch: - Die Arbeit mit Annotationen, um die Konfiguration zu reduzieren - Die Arbeit mit REST-konformen Ressourcen - Spring Expression Language (SpEL) - Security, Web Flow usw. AUS DEM INHALT: Spring ins kalte Wasser, Verschalten von Beans, Die XML-Konfiguration in Spring minimalisieren, Aspektorientierung, Zugriff auf die Datenbank, Transaktionen verwalten, Webapplikationen mit Spring MVC erstellen, Die Arbeit mit Spring Web Flow, Spring absichern, Die Arbeit mit Remote-Diensten, Spring und REST, Messaging in Spring, Verwalten von Spring-Beans mit JMX

Programmieren lernen mit Python

Author: Allen B. Downey

Publisher: O'Reilly Germany

ISBN: 3955618072

Category: Computers

Page: 320

View: 5955

Python ist eine moderne, interpretierte, interaktive und objektorientierte Skriptsprache, vielseitig einsetzbar und sehr beliebt. Mit mathematischen Vorkenntnissen ist Python leicht erlernbar und daher die ideale Sprache für den Einstieg in die Welt des Programmierens. Das Buch führt Sie Schritt für Schritt durch die Sprache, beginnend mit grundlegenden Programmierkonzepten, über Funktionen, Syntax und Semantik, Rekursion und Datenstrukturen bis hin zum objektorientierten Design. Zur aktualisierten Auflage Diese Auflage behandelt Python 3, geht dabei aber auch auf Unterschiede zu Python 2 ein. Außerdem wurde das Buch um die Themen Unicode, List und Dictionary Comprehensions, den Mengen-Typ Set, die String-Format-Methode und print als Funktion ergänzt. Jenseits reiner Theorie Jedes Kapitel enthält passende Übungen und Fallstudien, kurze Verständnistests und kleinere Projekte, an denen Sie die neu erlernten Programmierkonzepte gleich ausprobieren und festigen können. Auf diese Weise können Sie das Gelernte direkt anwenden und die jeweiligen Programmierkonzepte nachvollziehen. Lernen Sie Debugging-Techniken kennen Am Ende jedes Kapitels finden Sie einen Abschnitt zum Thema Debugging, der Techniken zum Aufspüren und Vermeiden von Bugs sowie Warnungen vor entsprechenden Stolpersteinen in Python enthält.

MySQL Tutorial

Die kompakte Einführung in die Arbeit mit MySQL

Author: Luke Welling,Laura Thomson

Publisher: Pearson Deutschland GmbH

ISBN: 9783827321695

Category:

Page: 286

View: 4056

SAP Service und Support

kontinuierliche Kundenzufriedenheit im Fokus ; [Informationen zu allen Services und Supportangeboten der SAP, zur Wartungsstrategie und zum SAP TCO Framework ; zahlreiche Kundenszenarien zum Einsatz der Services und Supportangebote]

Author: Gerhard Oswald

Publisher: N.A

ISBN: 9783898427883

Category:

Page: 315

View: 8736

Milliardär per Zufall

die Gründung von Facebook - eine Geschichte über Sex, Geld, Freundschaft und Betrug

Author: Ben Mezrich

Publisher: N.A

ISBN: 9783868812176

Category:

Page: 278

View: 8491

Romanhaft ausgeschmückte Geschichte der Gründung und Entwicklung des sozialen Netzwerks äFacebookä. Hauptperson: der mehrfache Milliardär Mark Zuckerberg.