上海古都建筑设计集团,上海办公室装修设计公司,上海装修公司高质量的内容分享社区,上海装修公司我们不是内容生产者,我们只是上海办公室装修设计公司内容的搬运工平台

kafka(一:分区数据不均衡(数据倾斜),分区分配策略)

guduadmin21天前

一:数据倾斜,导致各个分区数据不均匀。最终导致kafka堵塞,数据消费不动。

第一步:先停掉kafka中,上游和下游的代码,对分配数据较多的分区进行重新分配。

https://cloud.tencent.com/developer/article/1755177

二:重新修改进入kafka的代码,防止进行后期继续发生数据倾斜。

可以设置一个新的列,根据这个列进行hash。

三:kafka默认自动存储在zk中。如果想存储到其他地方,例如mysql,需要手动进行修改。

网友评论

搜索
最新文章
热门文章
热门标签