通知设置 新通知
streaming作业每个批次反序列化时间过长，大概是因为什么原因导致的吗，首先我这边的序列化类指定的是kyro,也有的指定的是protobuf的序列化方式。
回复刘狗 发起了问题 • 1 人关注 • 0 个回复 • 31 次浏览 • 6 天前
streaming作业动态更新广播变量
songyuxiang 回复了问题 • 2 人关注 • 1 个回复 • 76 次浏览 • 2019-08-10 18:22
sparkStreaming 很多很多batch开始处于queued状态
songyuxiang 回复了问题 • 2 人关注 • 2 个回复 • 53 次浏览 • 2019-08-10 16:26
小白求解：spark的executor的storage memory随着时间一直在增大?这样最终会OOM吗
wangfei 回复了问题 • 2 人关注 • 1 个回复 • 178 次浏览 • 2019-06-07 13:43
如何保证sc读到的内容为空时，saveAsHadoopFile可以不生成空文件
machuan 回复了问题 • 3 人关注 • 2 个回复 • 445 次浏览 • 2019-05-04 23:19
spark Streaming的batch Time可以动态修改吗
zb 回复了问题 • 3 人关注 • 2 个回复 • 166 次浏览 • 2019-04-30 11:48
spark连接phoenix操作Hbase报连接错误
anbbrr 回复了问题 • 3 人关注 • 3 个回复 • 889 次浏览 • 2019-04-28 15:41
在yarn上跑spark任务，NodeManager的Container频繁自杀
linefly 回复了问题 • 2 人关注 • 4 个回复 • 414 次浏览 • 2019-04-22 22:30
spark dataset 聚合操作问题
Genieliu 回复了问题 • 1 人关注 • 1 个回复 • 219 次浏览 • 2019-04-15 08:51
spark读取redis只能返回string类型的RDD，如果redis中存储protobuf序列化后的byte[]，spark该怎么获取到结果的类型是byte[]的RDD
回复刘狗 回复了问题 • 1 人关注 • 1 个回复 • 290 次浏览 • 2019-03-19 08:31
在spark算子中开辟内存保存结果数据，这样做高效吗
muyuan 回复了问题 • 2 人关注 • 1 个回复 • 258 次浏览 • 2019-03-13 20:13
存进去redis的数据是序列化过的二进制，使用spark操作redis，比如fromRedisList算子读取出来的都是String，可不可以指定读取redis的序列化方式之类的等等
回复刘狗 发起了问题 • 1 人关注 • 0 个回复 • 222 次浏览 • 2019-03-01 17:43
思路问题：sparkstreaming操作kafka，目前是每条数据都需要读取redis中之前保存的一些记录然后进行更新，意思就是一条数据就需要读次redis写次redis，有什么好的提高性能的方案吗
machuan 回复了问题 • 2 人关注 • 1 个回复 • 313 次浏览 • 2019-02-12 22:49
spark-submit 提交的spark任务已经结束, 但是spark-submit没有结束
过往记忆 回复了问题 • 4 人关注 • 3 个回复 • 713 次浏览 • 2019-01-21 12:01
