Real-Time Data Streams verstehen
Real-Time Data Streams verstehen Real-Time Data Streams sind fortlaufende Datenströme, die kontinuierlich erzeugt werden und möglichst sofort verarbeitet werden sollen. Quellen sind Sensoren, Weblogs, Klickströme oder Finanzdaten. Im Gegensatz zu Batch-Verarbeitung arbeiten Streaming-Lösungen mit niedriger Latenz, sodass Entscheidungen zeitnah getroffen werden können. Wichtige Konzepte helfen bei der Planung: Latenz (wie schnell eine Zeile vom Erzeuger bis zur Ausgabe gelangt), Durchsatz (wie viele Events pro Sekunde verarbeitet werden), Ereignisse (mit Zeitstempel und Payload) und Fensterung (z. B. Zeitfenster von 1 Minute). Zudem spielen Ordering, Zustand und Fehlerbehandlung eine Rolle. Bei der Konsistenz unterscheidet man zwischen exactly-once, at-least-once oder at-most-once. ...