Підручник Apache Kafka надає основні та розширені концепції Apache Kafka. Цей підручник призначений як для початківців, так і для професіоналів.
Apache Kafka — це програмна платформа потокової обробки з відкритим кодом, яка використовується для зберігання даних у реальному часі. Він працює як посередник між двома сторонами, тобто відправником і одержувачем. Він може обробляти близько трильйонів даних за день.
Навчальна подорож Apache Kafka охопить усі поняття від його архітектури до основних понять.
Що таке Apache Kafka
Apache Kafka — це програмна платформа, яка базується на розподіленому потоковому процесі. Це система обміну повідомленнями для публікації та підписки, яка також дозволяє обмінюватися даними між програмами, серверами та процесорами. Apache Kafka був спочатку розроблений LinkedIn , а пізніше його передали Apache Software Foundation. Нині його обслуговує Конфлюентний під Apache Software Foundation. Apache Kafka вирішив летаргічну проблему обміну даними між відправником і одержувачем.
Що таке система обміну повідомленнями
Система обміну повідомленнями — це простий обмін повідомленнями між двома або більше особами, пристроями тощо. Система обміну повідомленнями «публікувати-підписуватися» дозволяє відправнику надсилати/написати повідомлення, а одержувачу — читати це повідомлення. У Apache Kafka відправник відомий як a продюсер хто публікує повідомлення, а одержувач відомий як a споживач хто споживає це повідомлення, підписавшись на нього.
Що таке процес потокової передачі
Потоковий процес — це обробка даних у паралельно підключених системах. Цей процес дозволяє різним програмам обмежувати паралельне виконання даних, коли один запис виконується без очікування виведення попереднього запису. Таким чином, розподілена потокова платформа дозволяє користувачеві спростити завдання процесу потокової передачі та паралельного виконання. Таким чином, потокова платформа в Kafka має такі ключові можливості:
тестування програмного забезпечення
- Як тільки виникають потоки записів, він їх обробляє.
- Він працює подібно до корпоративної системи обміну повідомленнями, де він публікує потоки записів і підписується на них.
- Він зберігає потоки записів надійним і надійним способом.
Щоб вивчити та зрозуміти Apache Kafka, претенденти повинні знати такі чотири основні API:
API виробника: Цей API дозволяє/дозволяє програмі публікувати потоки записів в одній або кількох темах. (обговорюється в наступному розділі)
Споживчий API: Цей API дозволяє програмі підписуватися на одну або кілька тем і обробляти потік створених для них записів.
API потоків: Цей API дозволяє програмі ефективно перетворювати вхідні потоки на вихідні. Це дозволяє програмі діяти як потоковий процесор, який споживає вхідний потік з однієї або кількох тем і створює вихідний потік до однієї або кількох вихідних тем.
API конектора: Цей API виконує повторно використовувані API виробника та споживача з існуючими системами даних або програмами.
Чому Apache Kafka
Apache Kafka — це програмна платформа, яка має такі причини, які найкраще описують потребу в Apache Kafka.
- Apache Kafka здатний обробляти мільйони даних або повідомлень за секунду.
- Apache Kafka працює як посередник між вихідною системою та цільовою системою. Таким чином, дані вихідної системи (виробника) надсилаються до Apache Kafka, де він роз’єднує дані, а цільова система (споживач) споживає дані з Kafka.
- Apache Kafka має надзвичайно високу продуктивність, тобто він має дійсно низьке значення затримки менше 10 мс, що підтверджує його як добре обізнане програмне забезпечення.
- Apache Kafka має стійку архітектуру, яка вирішила незвичайні ускладнення в обміні даними.
- Такі організації, як NETFLIX, UBER, Walmart тощо, і понад тисячі таких фірм використовують Apache Kafka.
- Apache Kafka здатний підтримувати відмовостійкість. Відмовостійкість означає, що іноді споживач успішно споживає повідомлення, надіслане виробником. Але споживач не може обробити повідомлення назад через збій серверної бази даних або через наявність помилки в коді споживача. У такій ситуації споживач не може споживати повідомлення знову. Отже, Apache Kafka вирішив проблему шляхом повторної обробки даних.
- Вивчення Кафки - хороше джерело доходу. Тож ті, хто бажає в майбутньому підвищити свій дохід в IT-секторі, можуть вчитися.
Передумова
Аспіранти повинні мати базові знання програмування на Java та деякі знання команд Linux.
Аудиторія
Ця подорож Apache Kafka призначена для початківців, розробників і людей, які хочуть навчитися новому.
Проблеми
Ми запевняємо, що ви не знайдете жодних проблем у цьому підручнику Apache Kafka. Але якщо є якась помилка, будь ласка, опублікуйте проблему в контактній формі.