思路问题:sparkstreaming操作kafka,目前是每条数据都需要读取redis中之前保存的一些记录然后进行更新,意思就是一条数据就需要读次redis写次redis,有什么好的提高性能的方案吗

已邀请:

machuan

赞同来自: 刘狗

批量更新,每次积攒到1000条的时候,用redis的pipeline或者mget一次获取多条,更新完成后继续用pipeline或者mput一次更新。单条更新太慢了.

要回复问题请先登录注册


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群