通知设置 新通知
在yarn上跑spark任务，NodeManager的Container频繁自杀
linefly 回复了问题 • 2 人关注 • 4 个回复 • 72 次浏览 • 1 天前
spark dataset 聚合操作问题
Genieliu 回复了问题 • 1 人关注 • 1 个回复 • 46 次浏览 • 2019-04-15 08:51
spark读取redis只能返回string类型的RDD，如果redis中存储protobuf序列化后的byte[]，spark该怎么获取到结果的类型是byte[]的RDD
回复刘狗 回复了问题 • 1 人关注 • 1 个回复 • 161 次浏览 • 2019-03-19 08:31
在spark算子中开辟内存保存结果数据，这样做高效吗
muyuan 回复了问题 • 2 人关注 • 1 个回复 • 148 次浏览 • 2019-03-13 20:13
存进去redis的数据是序列化过的二进制，使用spark操作redis，比如fromRedisList算子读取出来的都是String，可不可以指定读取redis的序列化方式之类的等等
回复刘狗 发起了问题 • 1 人关注 • 0 个回复 • 122 次浏览 • 2019-03-01 17:43
思路问题：sparkstreaming操作kafka，目前是每条数据都需要读取redis中之前保存的一些记录然后进行更新，意思就是一条数据就需要读次redis写次redis，有什么好的提高性能的方案吗
machuan 回复了问题 • 2 人关注 • 1 个回复 • 198 次浏览 • 2019-02-12 22:49
spark-submit 提交的spark任务已经结束, 但是spark-submit没有结束
过往记忆 回复了问题 • 4 人关注 • 3 个回复 • 408 次浏览 • 2019-01-21 12:01
com.google.protobuf.LazyStringList faultCodes_ = com.google.protobuf.LazyStringArrayList.EMPTY;
回复刘狗 发起了问题 • 1 人关注 • 0 个回复 • 175 次浏览 • 2019-01-11 10:53
java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
回复刘狗 回复了问题 • 1 人关注 • 1 个回复 • 231 次浏览 • 2019-01-03 18:27
如何保证sc读到的内容为空时，saveAsHadoopFile可以不生成空文件
过往记忆 回复了问题 • 2 人关注 • 1 个回复 • 219 次浏览 • 2018-12-29 10:15
spark saveAsNewAPIHadoopDataset的方式入库hbase问题
Jepson 回复了问题 • 3 人关注 • 2 个回复 • 663 次浏览 • 2018-12-19 16:15
