Trong thế giới phát triển phần mềm hiện đại, việc xử lý và truyền tải dữ liệu hiệu quả giữa các hệ thống đã trở thành một yêu cầu quan trọng. Apache Kafka và RabbitMQ là hai nền tảng message broker hàng đầu, mỗi hệ thống đều có những ưu điểm riêng và phù hợp với các tình huống sử dụng khác nhau. Bài viết này sẽ đi sâu vào phân tích, so sánh Apache Kafka và RabbitMQ, giúp các nhà phát triển và kiến trúc sư hệ thống có cái nhìn tổng quan để lựa chọn công cụ phù hợp nhất cho dự án của mình. Tổng quan về Apache Kafka Apache Kafka là gì? Apache Kafka là một nền tảng xử lý dòng dữ liệu phân tán, mã nguồn mở, được phát triển ban đầu bởi LinkedIn và sau đó trở thành một dự án của Apache Software Foundation. Kafka được thiết kế để xử lý dữ liệu theo thời gian thực, với khả năng thu thập, lưu trữ và [...]

Bài viết được sự cho phép của tác giả Nguyễn Hữu Khanh Sau khi cài đặt Apache Kafka, các bạn có thể sử dụng công cụ Apache Kafka CLI để làm việc với topic trong Apache Kafka server. [irp posts="35520" name="Apache Kafka là gì?"] [irp posts="46000" name="Cài đặt Apache Kafka sử dụng Docker Compose"] Xem thêm việc làm AngularJS hấp dẫn trên TopDev Tạo mới topic Chúng ta sẽ sử dụng tập tin kafka-topics.sh của Apache Kafka CLI để làm việc với topic trong Apache Kafka server. Để tạo mới một topic, các bạn có thể sử dụng câu lệnh với cú pháp như sau: kafka-topics.sh --create --topic <topic_name> --bootstrap-server <kafka_server> --partitions <partition_number> --replication-factor <replication_number> Trong đó: topic_name là tên topic mà chúng ta cần tạo kafka_server là địa chỉ Apache Kafka server với định dạng host:port partition_number là số lượng partitions mà chúng ta cần tạo replication_number là số lượng replicate mà chúng ta muốn cho mỗi partition. Giá trị của tham số này sẽ phụ thuộc vào số lượng Apache [...]

Bài viết được sự cho phép của tác giả Nguyễn Hữu Khanh Để làm việc với Apache Kafka, các bạn cần nắm một số khái niệm cơ bản về: Producer Consumer Broker Cluster Topic Topic Partitions Partition Offset Consumer Group [irp posts="35520" name="Apache Kafka là gì?"] [irp posts="46000" name="Cài đặt Apache Kafka sử dụng Docker Compose"] Xem thêm tuyển dụng UI UX Designer hấp dẫn trên TopDev Producer Producer là những application produce data và gửi data tới Apache Kafka Server. Data này sẽ là những message có định dạng, được gửi dưới dạng mảng byte tới Apache Kafka server. Ví dụ như các bạn có một tập tin .txt chứa text bên trong, chúng ta có thể dùng Producer để đọc từng dòng trong tập tin này rồi gửi tới Apache Kafka server. Consumer Consumer là những application nhận message từ Apache Kafka server với message được gửi từ Publisher. Consumer cần phải subcribe vào một topic nào đó của Apache Kafka server để có thể nhận được tất cả các message được emit vào topic này. Sau khi nhận được data, Consumer [...]

Bài viết được sự cho phép của tác giả Nguyễn Hữu Khanh Apache Kafka là một open-source distributed event streaming platform giúp chúng ta có thể tạo và process data stream real-time. Các bạn có thể hình dung đến những hệ thống mà mỗi giây, data đều được sinh ra và cần được xử lý ví dụ như hệ thống quản lý giao thông, quản lý thời tiết, data sẽ được tạo ra từ nhiều nơi khác nhau và cần được collect để xử lý. Sử dụng Apache Kafka với high scalable có thể giúp chúng ta giải quyết những bài toán như vậy. [irp posts="45862" name="Cài đặt Apache Kafka trên macOS"] [irp posts="36289" name="Sử dụng Apache POI để đọc, ghi dữ liệu từ file Excel trong Selenium"] Xem thêm các việc làm Flutter lương cao trên TopDev Apache Kafka là một hệ thống enterprise messaging, hoạt động với cơ chế Pub-Sub messaging architecture. Chúng ta có Message Publisher, Message Consumer và Message Broker. Message Publisher là nơi produce các message và emit các message vào Message Broker, Message Consumer là nơi nhận, nó sẽ subscribe Message Broker và [...]

Bài viết được sự cho phép của tác giả Nguyễn Hữu Khanh Trong bài viết trước, mình đã hướng dẫn các bạn cách cài đặt Apache Kafka trên macOS, việc cài đặt sử dụng Docker Compose sẽ giúp chúng ta nhanh chóng start lên một Apache Kafka server mà không tốn nhiều effort, chỉ cần cài đặt Docker và tập tin docker-compose.yml. Cụ thể như thế nào? Trong bài viết này, mình sẽ hướng dẫn các bạn cách cài đặt Apache Kafka sử dụng Docker Compose các bạn nhé! [irp posts="7048" name="Cách thiết lập một dự án Symfony để làm việc với Docker Subdomains"] Xem thêm các việc làm OOP lương cao trên TopDev Mình sẽ tạo mới một tập tin docker-compose.yml với Docker Compose version như sau: version: '3.8' Chúng ta sẽ khai báo 2 service, một cho Apache Zookeeper và một cho Apache Kafka: services: zookeeper: kafka: Vì Apache Kafka muốn chạy được phải có Apache Zookeeper nên mình sẽ khai báo service zookeeper trước. Chúng ta sẽ sử dụ [...]

Bài viết được sự cho phép của tác giả Nguyễn Hữu Khanh Trong bài viết này, mình hướng dẫn các bạn cách cài đặt Apache Kafka trong macOS các bạn nhé! Đầu tiên, các bạn cần đi đến trang Download của Apache Kafka https://kafka.apache.org/downloads để download latest version của nó! Các bạn hãy download phiên bản binary mới nhất. [irp posts="35520" name="Apache Kafka là gì?"] [irp posts="35153" name="Capacity Planning - Dự toán công suất cho ứng dụng (Tập 1 )"] Xem thêm Tuyển dụng Machine Learning Fresher trên TopDev Sau khi download xong, các bạn hãy giải nén tập tin download này ra. Để có thể sử dụng Apache Kafka ở bất kỳ đâu trong máy của mình, mình sẽ chỉnh sửa tập tin .bash_profile để thêm đường dẫn tới thư mục bin của Kafka như sau: export PATH=/Users/khanh/Downloads/kafka_2.13-3.0.0/bin:$PATH Để những thay đổi của chúng ta có hiệu lực liền, các bạn hãy reload lại tập tin .bash_profile với câu lệnh như sau: . ./.bash_profile Để start [...]

Bài viết được sự cho phép của tác giả Lê Chí Dũng Apache Kafka® A DISTRIBUTED STREAMING PLATFORM Hiểu đơn giản là nền tảng về đường truyền dữ liệu phân tán. Apache Kafka là distributed event streaming platform có khả năng xử lý hàng nghìn tỷ sự kiện mỗi ngày. Ban đầu được hình thành như một hàng đợi nhắn tin, Kafka dựa trên sự trừu tượng của nhật ký cam kết phân tán. Kể từ khi được tạo và mở bởi LinkedIn vào năm 2011, Kafka đã nhanh chóng phát triển từ hàng đợi nhắn tin đến một nền tảng phát trực tuyến sự kiện đầy đủ. Một stream platform sẽ có 3 khả năng chính: Publish và subscribe vào các stream của các bản ghi, tương tự như một hàng chờ tin nhắn. Các stream của các bản ghi được lưu trữ bằng phương pháp chịu lỗi cao cũng như khả năng chịu tải. Xử lý các stream của các bản ghi mỗi khi có bản ghi mới. [irp [...]

Kafka là gì? Nếu lần đầu bạn nghe đến Kafka thì đừng lo, trong bài viết dưới đây TopDev sẽ giúp bạn cập nhật các kiến thức mới nhất về Kafka và các ứng dụng tuyệt vời của nó. Cùng chúng tôi tìm hiểu ngay nhé! Kafka là gì? Kafka với tên gọi đầy đủ là Apache Kafka là hệ thống message pub/sub phân tán mã nguồn mở (distributed messaging system) được phát triển bởi Apache Software Foundation và được viết bằng Java và Scala. Bên pulbic dữ liệu được gọi là producer, bên subscribe nhận dữ liệu theo topic được gọi là consumer. Kafka có khả năng truyền một lượng lớn message theo thời gian thực, trong trường hợp bên nhận chưa nhận message vẫn được lưu trữ sao lưu trên một hàng đợi và cả trên ổ đĩa bảo đảm an toàn. Đồng thời nó cũng được replicate trong cluster giúp phòng tránh mất dữ liệu. [caption id="attachment_12040" align="aligncenter" width="825"] Một cấu trúc Apache Kafka đơn giản[/caption] Các [...]