machuan

machuan

威望 : 4 积分 : 240 赞同 : 2 感谢 : 0

擅长话题

更多 »回复

0

耗时边长是因为 判断 isEmpty里面 take(1).length 这个是在driver端完成的,很慢

0

用flink消费kafka中的用户行为数据, 通过时间窗口先做聚合,然后将增量数据更新到hbase..

0

这岗位描述写的真水...

1

批量更新,每次积攒到1000条的时候,用redis的pipeline或者mget一次获取多条,更新完成后继续用pipeline或者mput一次更新。单条更新太慢了.

更多 »发问

没有内容

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 4 积分: 240 赞同: 2 感谢: 0

最后活跃:
19 小时前
擅长话题:
Spark 1   0
招聘 1   0
更多 » 关注 2

hbase 过往记忆

更多 » 1 人关注

yangwanghui

关注 0 话题
主页访问量 : 269 次访问

中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群