MapReduce Design Patterns

Building Effective Algorithms and Analytics for Hadoop and Other Systems

Author: Donald Miner,Adam Shook

Publisher: "O'Reilly Media, Inc."

ISBN: 1449341985

Category: Computers

Page: 250

View: 8950

Until now, design patterns for the MapReduce framework have been scattered among various research papers, blogs, and books. This handy guide brings together a unique collection of valuable MapReduce patterns that will save you time and effort regardless of the domain, language, or development framework you’re using. Each pattern is explained in context, with pitfalls and caveats clearly identified to help you avoid common design mistakes when modeling your big data architecture. This book also provides a complete overview of MapReduce that explains its origins and implementations, and why design patterns are so important. All code examples are written for Hadoop. Summarization patterns: get a top-level view by summarizing and grouping data Filtering patterns: view data subsets such as records generated from one user Data organization patterns: reorganize data to work with other systems, or to make MapReduce analysis easier Join patterns: analyze different datasets together to discover interesting relationships Metapatterns: piece together several patterns to solve multi-stage problems, or to perform several analytics in the same job Input and output patterns: customize the way you use Hadoop to load or store data "A clear exposition of MapReduce programs for common data processing patterns—this book is indespensible for anyone using Hadoop." --Tom White, author of Hadoop: The Definitive Guide

Big Data im Marketing

Chancen und Möglichkeiten für eine effektive Kundenansprache

Author: Torsten Schwarz

Publisher: Haufe-Lexware

ISBN: 3648065866

Category: Business & Economics

Page: 324

View: 3336

!-- Generated by XStandard version 2.0.1.0 on 2015-11-23T15:30:06 -- Nutzen Sie Big Data als Innovation für das moderne Marketing! Erkennen Sie neue Marktpotenziale und steuern Sie Vertriebskampagnen perfekt aus! Ziehen Sie die richtigen Schlüsse aus den Daten ! Durch die zunehmende Digitalisierung des Kundenkontakts entstehen völlig neue Marketingstrategien. Damit sind Sie der Konkurrenz stets eine Nasenlänge voraus! Über 20 führende Experten aus Praxis und Wissenschaft erklären die Marketingrevolution Big Data: von den technischen Grundlagen bis hin zur Customer Journey, von der System-Integration bis zum Social Media Monitoring. Mit diesem Buch können Marketing-Experten die zunehmende Digitalisierung des Kundenkontakts und die damit zur Verfügung stehenden Echtzeit-Informationen für neue Marketingstrategien perfekt nutzen. Inhalte: Neue Anforderungen an das Marketing der Zukunft. Big Data: Daten sammeln, aggregieren, analysieren, nutzen. Streaming Analytics: Management in Echtzeit. Umsetzung in konkrete Marketingmaßnahmen. Kundenwünsche in Echtzeit erkennen und bedienen. Alles zur Rechtslage und zum Datenschutz rund um Big Data u.v.m.

Big Data

Die Revolution, die unser Leben verändern wird

Author: Viktor Mayer-Schönberger,Viktor; Cukier Mayer-Schönberger

Publisher: Redline Wirtschaft

ISBN: 3864144590

Category: Political Science

Page: 288

View: 3787

Ob Kaufverhalten, Grippewellen oder welche Farbe am ehesten verrät, ob ein Gebrauchtwagen in einem guten Zustand ist – noch nie gab es eine solche Menge an Daten und noch nie bot sich die Chance, durch Recherche und Kombination in der Daten¬flut blitzschnell Zusammenhänge zu entschlüsseln. Big Data bedeutet nichts weniger als eine Revolution für Gesellschaft, Wirtschaft und Politik. Es wird die Weise, wie wir über Gesundheit, Erziehung, Innovation und vieles mehr denken, völlig umkrempeln. Und Vorhersagen möglich machen, die bisher undenkbar waren. Die Experten Viktor Mayer-Schönberger und Kenneth Cukier beschreiben in ihrem Buch, was Big Data ist, welche Möglichkeiten sich eröffnen, vor welchen Umwälzungen wir alle stehen – und verschweigen auch die dunkle Seite wie das Ausspähen von persönlichen Daten und den drohenden Verlust der Privatsphäre nicht.

Big Data Management, Technologies, and Applications

Author: Hu, Wen-Chen

Publisher: IGI Global

ISBN: 1466647000

Category: Computers

Page: 342

View: 1374

"This book discusses the exponential growth of information size and the innovative methods for data capture, storage, sharing, and analysis for big data"--Provided by publisher.

jQuery

vom Novizen zum Ninja ; [Profi-Wissen für alle jQuery-User]

Author: Earle Castledine,Craig Sharkie

Publisher: N.A

ISBN: 9783645601733

Category:

Page: 351

View: 6173

R in a Nutshell

Author: Joseph Adler

Publisher: O'Reilly Germany

ISBN: 3897216507

Category: Computers

Page: 768

View: 4561

Wozu sollte man R lernen? Da gibt es viele Gründe: Weil man damit natürlich ganz andere Möglichkeiten hat als mit einer Tabellenkalkulation wie Excel, aber auch mehr Spielraum als mit gängiger Statistiksoftware wie SPSS und SAS. Anders als bei diesen Programmen hat man nämlich direkten Zugriff auf dieselbe, vollwertige Programmiersprache, mit der die fertigen Analyse- und Visualisierungsmethoden realisiert sind – so lassen sich nahtlos eigene Algorithmen integrieren und komplexe Arbeitsabläufe realisieren. Und nicht zuletzt, weil R offen gegenüber beliebigen Datenquellen ist, von der einfachen Textdatei über binäre Fremdformate bis hin zu den ganz großen relationalen Datenbanken. Zudem ist R Open Source und erobert momentan von der universitären Welt aus die professionelle Statistik. R kann viel. Und Sie können viel mit R machen – wenn Sie wissen, wie es geht. Willkommen in der R-Welt: Installieren Sie R und stöbern Sie in Ihrem gut bestückten Werkzeugkasten: Sie haben eine Konsole und eine grafische Benutzeroberfläche, unzählige vordefinierte Analyse- und Visualisierungsoperationen – und Pakete, Pakete, Pakete. Für quasi jeden statistischen Anwendungsbereich können Sie sich aus dem reichen Schatz der R-Community bedienen. Sprechen Sie R! Sie müssen Syntax und Grammatik von R nicht lernen – wie im Auslandsurlaub kommen Sie auch hier gut mit ein paar aufgeschnappten Brocken aus. Aber es lohnt sich: Wenn Sie wissen, was es mit R-Objekten auf sich hat, wie Sie eigene Funktionen schreiben und Ihre eigenen Pakete schnüren, sind Sie bei der Analyse Ihrer Daten noch flexibler und effektiver. Datenanalyse und Statistik in der Praxis: Anhand unzähliger Beispiele aus Medizin, Wirtschaft, Sport und Bioinformatik lernen Sie, wie Sie Daten aufbereiten, mithilfe der Grafikfunktionen des lattice-Pakets darstellen, statistische Tests durchführen und Modelle anpassen. Danach werden Ihnen Ihre Daten nichts mehr verheimlichen.

Visualize This!

Author: Nathan Yau

Publisher: John Wiley & Sons

ISBN: 3527760229

Category: Statistics / Graphic methods / Data processing

Page: 422

View: 1033

A guide on how to visualise and tell stories with data, providing practical design tips complemented with step-by-step tutorials.

Fuzzy-Clusteranalyse

Verfahren für die Bilderkennung, Klassifizierung und Datenanalyse

Author: Frank Höppner,Rudolf Kruse,Frank Klawonn

Publisher: Springer-Verlag

ISBN: 3322868362

Category: Technology & Engineering

Page: 280

View: 5238

Dieses Buch ist das Standardwerk zu einem neuen Bereich der angewandten Fuzzy-Technologie, der Fuzzy-Clusteranalyse. Diese beinhaltet Verfahren der Mustererkennung zur Gruppierung und Strukturierung von Daten. Dabei werden im Gegensatz zu klassischen Clustering-Techniken die Daten nicht eindeutig zu Klassen zugeordnet, sondern Zugehörigkeitsgrade bestimmt, so daß die Fuzzy-Verfahren robust gegenüber gestörten oder verrauschten Daten sind und fließende Klassenübergänge handhaben können. Dieses Werk gibt eine methodische Einführung in die zahlreichen Fuzzy-Clustering-Algorithmen mit ihren Anwendungen in den Bereichen Datenanalyse, Erzeugung von Regeln für Fuzzy-Regler, Klassifikations- und Approximationsprobleme sowie eine ausführliche Darstellung des Shell-Clustering zur Erkennung von geometrischen Konturen in Bildern.

MPI - Eine Einführung

Portable parallele Programmierung mit dem Message-Passing Interface

Author: William Gropp,Ewing Lusk,Anthony Skjellum

Publisher: Walter de Gruyter GmbH & Co KG

ISBN: 3486841009

Category: Computers

Page: 387

View: 1507

Message Passing Interface (MPI) ist ein Protokoll, das parallel Berechnungen auf verteilten, heterogenen, lose-gekoppelten Computersystemen ermöglicht.

Big Data in der Praxis

Beispiellösungen mit Hadoop und NoSQL. Daten speichern, aufbereiten, visualisieren

Author: Jonas Freiknecht

Publisher: Carl Hanser Verlag GmbH Co KG

ISBN: 3446441778

Category: Computers

Page: 448

View: 2929

BIG DATA IN DER PRAXIS // - Für Analysten, BI-Verantwortliche, Data-Scientists, Consultants - Auf der DVD finden Sie: 18 fertige Projekte, die im Buch Schritt für Schritt entwickelt werden; Videotutorials u.a. zur Installation von Hadoop, Hive, HBase (Gesamtdauer: 80 Min.); Testdatensätze für die Wissensdatenbank Dieses Buch bringt Ihnen das Thema Big Data auf sehr praktische Art und Weise nahe. Sie lernen Technologien, Tools und Methoden kennen, entwickeln Beispiel-Lösungen und bekommen aufgezeigt, wie Sie bestehende Systeme vorausschauend auf die mit dem Big Data-Trend einhergehenden Herausforderungen vorbereiten. Dazu werden Sie neben den bekannten Apache-Projekten wie Hadoop, Hive und HBase auch einige weniger bekannte Frameworks wie Apache UIMA oder Apache OpenNLP kennenlernen, um gezielt die Verarbeitung unstrukturierter Daten zu behandeln. Alle hier verwendeten Software-Komponenten stehen im vollen Umfang kostenlos im Internet zur Verfügung. Gemeinsam mit dem Autor werden Sie ganz konkret Schritt für Schritt viele kleinere Projekte aufbauen bis hin zu einer fertigen und funktionstüchtigen Implementierung. Ziel des Buches ist es, Sie auf den Effekt und den Mehrwert der neuen Möglichkeiten aufmerksam zu machen, sodass Sie diese konstruktiv in Ihr Unternehmen tragen können und für sich und Ihre Kollegen somit ein Bewusstsein für den Wert Ihrer Daten schaffen. AUS DEM INHALT // Einführung rund um Big Data // Hadoop installieren, konfigurieren & bedienen // HDFS, Map-Reduce & YARN: Daten speichern und verarbeiten // Hadoop-Ecosystem: Überblick über dessen Komponenten // Einführung in NoSQL // HBase installieren, einrichten & auf Daten zugreifen // Data-Warehousing mit Apache Hive // HiveQL als Abfragesprache, Hive Security, Hive & JDBC // Datenimport aus relationalen Datenbanken mit Sqoop // Big Data-Visualisierung: Diagrammarten, Tipps & Trends // Visualisierungs-Frameworks im Vergleich // D3.js: Entwicklung einiger Beispieldiagramme // Entwicklung einer abschließenden Big Data-Analyse-Lösung // Troubleshooting für die Arbeit mit Hadoop, Hive & HBase

Verteilte Systeme

Konzepte und Design

Author: George F. Coulouris,Jean Dollimore,Tim Kindberg

Publisher: N.A

ISBN: 9783827371867

Category: Electronic data processing

Page: 869

View: 7343

Die Berechnung der Zukunft

Warum die meisten Prognosen falsch sind und manche trotzdem zutreffen - Der New York Times Bestseller

Author: Nate Silver

Publisher: Heyne Verlag

ISBN: 3641112702

Category: Business & Economics

Page: 656

View: 3384

Zuverlässige Vorhersagen sind doch möglich! Nate Silver ist der heimliche Gewinner der amerikanischen Präsidentschaftswahlen 2012: ein begnadeter Statistiker, als »Prognose-Popstar« und »Wundernerd« weltberühmt geworden. Er hat die Wahlergebnisse aller 50 amerikanischen Bundesstaaten absolut exakt vorausgesagt – doch damit nicht genug: Jetzt zeigt Nate Silver, wie seine Prognosen in Zukunft Terroranschläge, Umweltkatastrophen und Finanzkrisen verhindern sollen. Gelingt ihm die Abschaffung des Zufalls? Warum werden Wettervorhersagen immer besser, während die Terrorattacken vom 11.09.2001 niemand kommen sah? Warum erkennen Ökonomen eine globale Finanzkrise nicht einmal dann, wenn diese bereits begonnen hat? Das Problem ist nicht der Mangel an Informationen, sondern dass wir die verfügbaren Daten nicht richtig deuten. Zuverlässige Prognosen aber würden uns helfen, Zufälle und Ungewissheiten abzuwehren und unser Schicksal selbst zu bestimmen. Nate Silver zeigt, dass und wie das geht. Erstmals wendet er seine Wahrscheinlichkeitsrechnung nicht nur auf Wahlprognosen an, sondern auf die großen Probleme unserer Zeit: die Finanzmärkte, Ratingagenturen, Epidemien, Erdbeben, den Klimawandel, den Terrorismus. In all diesen Fällen gibt es zahlreiche Prognosen von Experten, die er überprüft – und erklärt, warum sie meist falsch sind. Gleichzeitig schildert er, wie es gelingen kann, im Rauschen der Daten die wesentlichen Informationen herauszufiltern. Ein unterhaltsamer und spannender Augenöffner!

Hacking mit Security Onion

Sicherheit im Netzwerk überwachen: Daten erfassen und sammeln, analysieren und Angriffe rechtzeitig erkennen

Author: Chris Sanders,Jason Smith

Publisher: Franzis Verlag

ISBN: 3645204962

Category: Computers

Page: 560

View: 8341

Sie können noch so viel in Hardware, Software und Abwehrmechanismen investieren, absolute Sicherheit für Ihre IT-Infrastruktur wird es nicht geben. Wenn Hacker sich wirklich anstrengen, werden sie auch in Ihr System gelangen. Sollte das geschehen, müssen Sie sowohl technisch als auch organisatorisch so aufgestellt sein, dass Sie die Gegenwart eines Hackers erkennen und darauf reagieren können. Sie müssen in der Lage sein, einen Zwischenfall zu deklarieren und die Angreifer aus Ihrem Netzwerk zu vertreiben, bevor sie erheblichen Schaden anrichten. Das ist Network Security Monitoring (NSM). Lernen Sie von dem leitenden Sicherheitsanalytiker Sanders die Feinheiten des Network Security Monitoring kennen. Konzepte verstehen und Network Security Monitoring mit Open-Source-Tools durchführen: Lernen Sie die drei NSM-Phasen kennen, um diese in der Praxis anzuwenden. Die praktische Umsetzung der NSM erfolgt mit vielen Open-Source-Werkzeugen wie z. B. Bro, Daemonlogger, Dumpcap, Justniffer, Honeyd, Httpry, Netsniff-NG, Sguil, SiLK, Snorby Snort, Squert, Suricata, TShark und Wireshark. Anhand von ausführlichen Beispielen lernen Sie, die Tools effizient in Ihrem Netzwerk einzusetzen.

Wettbewerbsstrategie

Methoden zur Analyse von Branchen und Konkurrenten

Author: Michael E. Porter

Publisher: Campus Verlag

ISBN: 3593398443

Category: Business & Economics

Page: 486

View: 970

Seit 30 Jahren ist Michael E. Porters Buch zur Wettbewerbsstrategie der Klassiker zum Thema und Pflichtlektüre für Führungskräfte. Schritt für Schritt entwickelt der Autor alle Instrumente, die ein Manager für die Branchenanalyse benötigt. Seine Ausführungen erklären die grundlegenden Kräfte des brancheninternen Wettbewerbs. Fundiert und praxisnah stellt er konkrete Methoden zur Analyse von Branchen vor. Diese 12. Auflage ist vollständig durchgesehen, aktualisiert und erweitert.

Datenanalyse mit Python

Auswertung von Daten mit Pandas, NumPy und IPython

Author: Wes McKinney

Publisher: O'Reilly

ISBN: 3960102143

Category: Computers

Page: 542

View: 6287

Erfahren Sie alles über das Manipulieren, Bereinigen, Verarbeiten und Aufbereiten von Datensätzen mit Python: Aktualisiert auf Python 3.6, zeigt Ihnen dieses konsequent praxisbezogene Buch anhand konkreter Fallbeispiele, wie Sie eine Vielzahl von typischen Datenanalyse-Problemen effektiv lösen. Gleichzeitig lernen Sie die neuesten Versionen von pandas, NumPy, IPython und Jupyter kennen.Geschrieben von Wes McKinney, dem Begründer des pandas-Projekts, bietet Datenanalyse mit Python einen praktischen Einstieg in die Data-Science-Tools von Python. Das Buch eignet sich sowohl für Datenanalysten, für die Python Neuland ist, als auch für Python-Programmierer, die sich in Data Science und Scientific Computing einarbeiten wollen. Daten und zugehöriges Material des Buchs sind auf GitHub verfügbar.Aus dem Inhalt:Nutzen Sie die IPython-Shell und Jupyter Notebook für das explorative ComputingLernen Sie Grundfunktionen und fortgeschrittene Features von NumPy kennenSetzen Sie die Datenanalyse-Tools der pandasBibliothek einVerwenden Sie flexible Werkzeuge zum Laden, Bereinigen, Transformieren, Zusammenführen und Umformen von DatenErstellen Sie interformative Visualisierungen mit matplotlibWenden Sie die GroupBy-Mechanismen von pandas an, um Datensätzen zurechtzuschneiden, umzugestalten und zusammenzufassenAnalysieren und manipulieren Sie verschiedenste Zeitreihen-DatenFür diese aktualisierte 2. Auflage wurde der gesamte Code an Python 3.6 und die neuesten Versionen der pandas-Bibliothek angepasst. Neu in dieser Auflage: Informationen zu fortgeschrittenen pandas-Tools sowie eine kurze Einführung in statsmodels und scikit-learn.

High Performance MySQL

Author: Baron Schwartz,Peter Zaitsev,Vadim Tkachenko,Jeremy D. Zawodny,Arjen Lentz,Derek J. Balling

Publisher: O'Reilly Germany

ISBN: 3897218356

Category: Computers

Page: 768

View: 3478

Einführungen in MySQL gibt es viele. Wer aber größere MySQL-Server betreut, die verlässlich laufen müssen, egal was Programmierer oder Benutzer auf sie loslassen, der braucht weiter reichende Informationen. In High Performance MySQL beschreiben sechs anerkannte Experten mit langjähriger Erfahrung auf großen Systemen alle Stellschrauben, an denen MySQL-Admins drehen können, um Sicherheit, Performance, Datenintegrität und Robustheit zu erhöhen. Von Profis für Profis Hier geht es nicht um kleine Webauftritte mit Datenbankanbindung! Lernen Sie stattdessen fortgeschrittene Techniken kennen, mit denen Sie MySQLs Potenzial voll ausreizen können -- um große, skalierbare Systeme zu entwerfen, zu optimieren und zu sichern. Behandelt werden Benchmarking, Indizes, Storage-Engines, Replikationen, Lastverteilung und Hochverfügbarkeit, Backups, Sicherheit... und zu jedem Aspekt die richtigen Werkzeuge, mit denen sich Ihre Ziele am besten realisieren lassen. Praxiserprobt muss es sein Der eine ist MySQL-Guru bei Yahoo!, der andere Angestellter Nr. 25 bei MySQL AB und dort nacheinander für das MySQL-Manual, die Trainingskurse und die Entwicklung des Supports zuständig, wieder ein anderer war bei MySQL AB im High-Performance-Team – die Autoren dieses Buchs wissen, wovon sie sprechen. Graue Theorie finden Sie woanders, hier geht es um bewährte Techniken aus der Praxis. Die erste Auflage von „High Performance MySQL“ wurde hoch gelobt und hat schon unzähligen Lesern wertvolle Dienste geleistet. Nun war es an der Zeit, dieses anerkannte Handbuch einmal komplett zu aktualisieren, um nützliches Referenzmaterial zu erweitern, neue Features der Versionen MySQL 5.0 und 5.1 zu ergänzen und zahlreiche Themen wie die Optimierung der Storage-Engine InnoDB zu vertiefen.

Programmieren mit Scala

Author: Dean Wampler,Alex Payne

Publisher: O'Reilly Germany

ISBN: 3897216485

Category: Computers

Page: 480

View: 9993

Sie ist elegant, schlank, modern und flexibel: Die Rede ist von Scala, der neuen Programmiersprache für die Java Virtual Machine (JVM). Sie vereint die Vorzüge funktionaler und objektorientierter Programmierung, ist typsicherer als Java, lässt sich nahtlos in die Java-Welt integrieren – und eine in Scala entwickelte Anwendung benötigt oft nur einen Bruchteil der Codezeilen ihres Java-Pendants. Kein Wunder, dass immer mehr Firmen, deren große, geschäftskritische Anwendungen auf Java basieren, auf Scala umsteigen, um ihre Produktivität und die Skalierbarkeit ihrer Software zu erhöhen. Das wollen Sie auch? Dann lassen Sie sich von den Scala-Profis Dean Wampler und Alex Payne zeigen, wie es geht. Ihre Werkzeugkiste: Schon bevor Sie loslegen, sind Sie weiter, als Sie denken: Sie können Ihre Java-Programme weiter verwenden, Java-Bibliotheken nutzen, Java von Scala aus aufrufen und Scala von Java aus. Auch Ihre bevorzugten Entwicklungswerkzeuge wie NetBeans, IntelliJ IDEA oder Eclipse stehen Ihnen weiter zur Verfügung, dazu Kommandozeilen-Tools, Plugins für Editoren, Werkzeuge von Drittanbietern – und natürlich Ihre Programmiererfahrung. In Programmieren mit Scala erfahren Sie, wie Sie sich all das zunutze machen. Das Hybridmodell: Die Paradigmen "funktional" und "objektorientiert" sind keine Gegensätze, sondern ergänzen sich unter dem Scala-Dach zu einem sehr produktiven Ganzen. Nutzen Sie die Vorteile funktionaler Programmierung, wann immer sich das anbietet – und seien Sie so frei, auf die guten alten Seiteneffekte zu bauen, wenn Sie das für nötig halten. Futter für die Profis: Skalierbare Nebenläufigkeit mit Aktoren, Aufzucht und Pflege von XML mit Scala, Domainspezifische Sprachen, Tipps zum richtigen Anwendungsdesign – das sind nur ein paar der fortgeschrittenen Themen, in die Sie mit den beiden Autoren eintauchen. Danach sind Sie auch Profi im Programmieren mit Scala.

XSLT-Kochbuch

Author: Sal Mangano

Publisher: Springer DE

ISBN: 9783897214576

Category: XML (Document markup language)

Page: 735

View: 1370

The Second Machine Age

Wie die nächste digitale Revolution unser aller Leben verändern wird

Author: Erik Brynjolfsson,Andrew McAfee

Publisher: Plassen Verlag

ISBN: 3864702224

Category: Political Science

Page: 368

View: 7168

Computer sind mittlerweile so intelligent geworden, dass die nächste industrielle Revolution unmittelbar bevorsteht. Wer profitiert, wer verliert? Antworten auf diese Fragen bietet das neue Buch der Technologie-Profis Erik Brynjolfsson und Andrew McAfee. Seit Jahren arbeiten wir mit Computern - und Computer für uns. Mittlerweile sind die Maschinen so intelligent geworden, dass sie zu Leistungen fähig sind, die vor Kurzem noch undenkbar waren: Sie fahren Auto, sie schreiben eigene Texte - und sie besiegen Großmeister im Schach. Dieser Entwicklungssprung ist nur der Anfang. In ihrem neuen Buch zeigen zwei renommierte Professoren, welch atemberaubende Entwicklungen uns noch bevorstehen: Die zweite industrielle Revolution kommt! Welche Auswirkungen wird das haben? Welche Chancen winken, welche Risiken drohen? Was geschieht dabei mit den Menschen, was mit der Umwelt? Und was werden Gesellschaft und Politik tun, um die Auswirkungen dieser "neuen digitalen Intelligenz" für alle bestmöglich zu gestalten? Dieses Buch nimmt Sie mit auf eine Reise in eine Zukunft, die schon längst begonnen hat.