Cuprins:
Definiție - Ce înseamnă Apache Kafka?
Apache Kafka este un sistem de mesaje publicare-abonare open-source conceput pentru a oferi o manipulare rapidă, scalabilă și tolerantă la erori a fluxurilor de date în timp real. Spre deosebire de software-ul tradițional de mesagerie pentru întreprinderi, Kafka este capabil să se ocupe de toate datele care circulă printr-o companie și să le facă în timp real.
Kafka este scris în Scala și a fost dezvoltat inițial de LinkedIn. Din acel moment, o serie de companii au folosit-o pentru a construi platforme în timp real.
Techopedia explică Apache Kafka
Kafka are multe asemănări cu jurnalele de tranzacții și menține fluxuri de mesaje în subiecte. Producătorii scriu date pe subiecte și consumatorii citesc din aceste subiecte, care sunt partiționate și reproduse pe mai multe noduri într-un format de sistem distribuit. Kafka este unic prin faptul că tratează fiecare partiție subiect ca un jurnal și fiecărui mesaj dintr-o partiție i se atribuie o compensare unică. Păstrează toate mesajele pentru o anumită perioadă de timp, iar consumatorii sunt responsabili de urmărirea locației lor în fiecare jurnal. Acest lucru diferă de sistemele anterioare, unde brokerii au fost responsabili pentru această urmărire, ceea ce a limitat sever capacitatea sistemului de a se extinde pe măsură ce numărul de consumatori a crescut. Această structură permite Kafka să sprijine mulți consumatori și să rețină cantități mari de date cu cheltuieli aeriene foarte mici.
Kafka poate fi folosit:
- Ca broker de mesaje tradiționale
- Pentru urmărirea activității site-ului web
- Pentru agregarea jurnalului
- Pentru procesarea fluxului de date mari
Kafka poate fi utilizat alături de Apache Storm, Apache HBase și Apache Spark pentru analiza în timp real și redarea datelor în flux.
