Cài đặt Topic¶
Overview¶
Topic là đơn vị danh mục/kênh mà các bản ghi được lưu trữ và stream. Mặc định Sun Highway cluster cho phép publish message mà không cần tạo topic trước(tự tạo topic). Cài đặt này có thể được thay đổi bằng cách đặt lại qua giao diện command line.
Các thông số của topic cho phép cài đặt từ giao diện:
Topic Name
: Tên của topic, là duy nhất trong brokerNumber of Partitions
: Số lượng partition trên mỗi topicRetention Time
: Thời gian giữ lại các message tối đa trước khi kafka tự xóa để lưu dữ liệu mớiRetention Size
: Kích thước lưu trữ ondisk của tổng số các message trước khi kafka tự xóa để lưu dữ liệu mớiMax Message Size
: Kích thước tối đa của một message được gửi.Cleanup Policy
: Trong Kafka, các messages trên một topic không bị xóa ngay lập tức ngay sau khi chúng được consumed. Thay vào đó, cấu hình riêng dành cho mỗi mỗi topic sẽ xác định topic này sẽ có bao nhiêu dung lượng lưu trữ message và cách chúng được quản lý như thế nào. Khái niệm làm cho dữ liệu hết hạn còn được gọi là quá trình dọn dẹp (Cleanup) log. Đây là cấu hình ở cấp độ topic. Hệ thống cần hạn chế hạn chế log segment lại để tiếp tục nhận thêm các messages mới. Value delete/ compactCompression Type
: Loại nén được sử dụng khi ghi dữ liệu (none, gzip, snappy, lz4, zstd)Leader Replication Throttled Replicas
: Replica bị giới hạn băng thông khi đồng bộ dữ liệu từ leaderMin Insync Replicas
: Số lượng replica tối thiểu cần in-sync để cho phép ghi dữ liệuSegment Jitter Ms
: Độ trễ ngẫu nhiên thêm vào segment ms để tránh tạo segment đồng loạtFlush Ms
: Thời gian tối đa trước khi tự động flush log từ memory ra diskReplication Throttled Replicas
: Replica bị giới hạn băng thông khi gửi dữ liệu tới leaderSegment Bytes
: Kích thước tối đa của một log segment trước khi tạo segment mớiFlush Messages
: Số lượng message ghi vào log trước khi tự động flush ra diskMessage Format Version
: Phiên bản định dạng message mà broker sử dụng để ghi dữ liệuDelete Retention Ms
: Thời gian giữ lại dữ liệu đã bị đánh dấu xóa trong topic compactedMax Compaction Lag Ms
: Thời gian tối đa Kafka chờ trước khi compact một segmentMin Compaction Lag Ms
: Thời gian tối thiểu Kafka giữ một segment trước khi cho phép compactMessage Timestamp Type
: Loại timestamp sử dụng trong message (CreateTime hoặc LogAppendTime)Preallocate
: Có preallocate full dung lượng cho segment khi tạo hay khôngIndex Interval Bytes
: Số byte Kafka ghi vào log trước khi thêm entry mới vào indexMin Cleanable Dirty Ratio
: Ngưỡng dirty ratio tối thiểu để trigger log compactionUnclean Leader Election Enable
: Cho phép follower không in-sync trở thành leader khi leader cũ mấtDelete Retention
: Thời gian giữ lại dữ liệu đã bị xóa (tên khác của delete retention ms)Segment Ms
: Thời gian tối đa giữ một segment trước khi tạo segment mớiMax Message Timestamp Difference Ms
: Độ lệch tối đa giữa timestamp của message và thời gian hệ thốngSegment Index Bytes
: Kích thước tối đa của index file đi kèm mỗi segment