通知设置 新通知
思路问题:sparkstreaming操作kafka,目前是每条数据都需要读取redis中之前保存的一些记录然后进行更新,意思就是一条数据就需要读次redis写次redis,有什么好的提高性能的方案吗
machuan 回复了问题 • 2 人关注 • 1 个回复 • 59 次浏览 • 5 天前
spark-submit 提交的spark任务已经结束, 但是spark-submit没有结束
过往记忆 回复了问题 • 4 人关注 • 3 个回复 • 241 次浏览 • 2019-01-21 12:01
com.google.protobuf.LazyStringList faultCodes_ = com.google.protobuf.LazyStringArrayList.EMPTY;
回复刘狗 发起了问题 • 1 人关注 • 0 个回复 • 103 次浏览 • 2019-01-11 10:53
java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
回复刘狗 回复了问题 • 1 人关注 • 1 个回复 • 115 次浏览 • 2019-01-03 18:27
如何保证sc读到的内容为空时,saveAsHadoopFile可以不生成空文件
过往记忆 回复了问题 • 2 人关注 • 1 个回复 • 134 次浏览 • 2018-12-29 10:15
spark saveAsNewAPIHadoopDataset的方式入库hbase问题
Jepson 回复了问题 • 3 人关注 • 2 个回复 • 455 次浏览 • 2018-12-19 16:15
spark dataframe多次引用,是否应缓存
wangfei 回复了问题 • 2 人关注 • 1 个回复 • 156 次浏览 • 2018-12-14 14:03
spark-streaming消费kafka数据 遇到了spark的bug (spark-22968)
过往记忆 回复了问题 • 2 人关注 • 3 个回复 • 434 次浏览 • 2018-12-11 18:14
新版本的streaming-kafka消费 之 kafkaCluster ZKUtils 不能使用问题
回复刘狗 回复了问题 • 1 人关注 • 1 个回复 • 172 次浏览 • 2018-12-11 08:03