Cài đặt Topic

Overview

Topic là đơn vị danh mục/kênh mà các bản ghi được lưu trữ và stream. Mặc định Sun Highway cluster cho phép publish message mà không cần tạo topic trước(tự tạo topic). Cài đặt này có thể được thay đổi bằng cách đặt lại qua giao diện command line.

Các thông số của topic cho phép cài đặt từ giao diện:

  • Topic Name: Tên của topic, là duy nhất trong broker

  • Number of Partitions: Số lượng partition trên mỗi topic

  • Retention Time: Thời gian giữ lại các message tối đa trước khi kafka tự xóa để lưu dữ liệu mới

  • Retention Size: Kích thước lưu trữ ondisk của tổng số các message trước khi kafka tự xóa để lưu dữ liệu mới

  • Max Message Size: Kích thước tối đa của một message được gửi.

  • Cleanup Policy: Trong Kafka, các messages trên một topic không bị xóa ngay lập tức ngay sau khi chúng được consumed. Thay vào đó, cấu hình riêng dành cho mỗi mỗi topic sẽ xác định topic này sẽ có bao nhiêu dung lượng lưu trữ message và cách chúng được quản lý như thế nào. Khái niệm làm cho dữ liệu hết hạn còn được gọi là quá trình dọn dẹp (Cleanup) log. Đây là cấu hình ở cấp độ topic. Hệ thống cần hạn chế hạn chế log segment lại để tiếp tục nhận thêm các messages mới. Value delete/ compact

  • Compression Type: Loại nén được sử dụng khi ghi dữ liệu (none, gzip, snappy, lz4, zstd)

  • Leader Replication Throttled Replicas: Replica bị giới hạn băng thông khi đồng bộ dữ liệu từ leader

  • Min Insync Replicas: Số lượng replica tối thiểu cần in-sync để cho phép ghi dữ liệu

  • Segment Jitter Ms: Độ trễ ngẫu nhiên thêm vào segment ms để tránh tạo segment đồng loạt

  • Flush Ms: Thời gian tối đa trước khi tự động flush log từ memory ra disk

  • Replication Throttled Replicas: Replica bị giới hạn băng thông khi gửi dữ liệu tới leader

  • Segment Bytes: Kích thước tối đa của một log segment trước khi tạo segment mới

  • Flush Messages: Số lượng message ghi vào log trước khi tự động flush ra disk

  • Message Format Version: Phiên bản định dạng message mà broker sử dụng để ghi dữ liệu

  • Delete Retention Ms: Thời gian giữ lại dữ liệu đã bị đánh dấu xóa trong topic compacted

  • Max Compaction Lag Ms: Thời gian tối đa Kafka chờ trước khi compact một segment

  • Min Compaction Lag Ms: Thời gian tối thiểu Kafka giữ một segment trước khi cho phép compact

  • Message Timestamp Type: Loại timestamp sử dụng trong message (CreateTime hoặc LogAppendTime)

  • Preallocate: Có preallocate full dung lượng cho segment khi tạo hay không

  • Index Interval Bytes: Số byte Kafka ghi vào log trước khi thêm entry mới vào index

  • Min Cleanable Dirty Ratio: Ngưỡng dirty ratio tối thiểu để trigger log compaction

  • Unclean Leader Election Enable: Cho phép follower không in-sync trở thành leader khi leader cũ mất

  • Delete Retention: Thời gian giữ lại dữ liệu đã bị xóa (tên khác của delete retention ms)

  • Segment Ms: Thời gian tối đa giữ một segment trước khi tạo segment mới

  • Max Message Timestamp Difference Ms: Độ lệch tối đa giữa timestamp của message và thời gian hệ thống

  • Segment Index Bytes: Kích thước tối đa của index file đi kèm mỗi segment