您好,欢迎来到刀刀网。
搜索
您的当前位置:首页storm kafka出现错误或fail后,是否继续处理数据?

storm kafka出现错误或fail后,是否继续处理数据?

来源:刀刀网

在可靠性Topology中,storm消费kafka中的数据,当storm ui中出现错误或fail的时候,以后的数据会继续通过Topology被处理完成,但是此时zk中的出现问题的partition的offset是不变的(保留在出错位置,没有出错的partition的offset正常更新),当Topology修复重启后,会从出错位置继续执行,因此可靠性Topology能保证数据至少被处理一次,但是会造成数据重复问题,要注意处理。

转载于:https://my.oschina.net/u/2000675/blog/857733

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- gamedaodao.com 版权所有 湘ICP备2022005869号-6

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务