小白求解:spark的executor的storage memory随着时间一直在增大?这样最终会OOM吗

wangfei 回复了问题 • 2 人关注 • 1 个回复 • 121 次浏览 • 2019-06-07 13:43 • 来自相关话题

关于spark优化数据格式问题(fastUtil,jdk,hppc集合框架选择)

回复

刘狗 发起了问题 • 1 人关注 • 0 个回复 • 69 次浏览 • 2019-05-20 17:36 • 来自相关话题

如何保证sc读到的内容为空时,saveAsHadoopFile可以不生成空文件

machuan 回复了问题 • 3 人关注 • 2 个回复 • 338 次浏览 • 2019-05-04 23:19 • 来自相关话题

spark Streaming的batch Time可以动态修改吗

zb 回复了问题 • 3 人关注 • 2 个回复 • 124 次浏览 • 2019-04-30 11:48 • 来自相关话题

spark连接phoenix操作Hbase报连接错误

anbbrr 回复了问题 • 3 人关注 • 3 个回复 • 721 次浏览 • 2019-04-28 15:41 • 来自相关话题

在yarn上跑spark任务,NodeManager的Container频繁自杀

linefly 回复了问题 • 2 人关注 • 4 个回复 • 274 次浏览 • 2019-04-22 22:30 • 来自相关话题

spark dataset 聚合操作问题

Genieliu 回复了问题 • 1 人关注 • 1 个回复 • 168 次浏览 • 2019-04-15 08:51 • 来自相关话题

spark 数据倾斜解决思路?

回复

刘狗 发起了问题 • 0 人关注 • 0 个回复 • 184 次浏览 • 2019-03-20 18:28 • 来自相关话题

spark读取redis只能返回string类型的RDD,如果redis中存储protobuf序列化后的byte[],spark该怎么获取到结果的类型是byte[]的RDD

回复

刘狗 回复了问题 • 1 人关注 • 1 个回复 • 233 次浏览 • 2019-03-19 08:31 • 来自相关话题

在spark算子中开辟内存保存结果数据,这样做高效吗

muyuan 回复了问题 • 2 人关注 • 1 个回复 • 210 次浏览 • 2019-03-13 20:13 • 来自相关话题

hive 两个时间的时间差如何与7个工作日做比较?

回复

jinzhao 回复了问题 • 1 人关注 • 1 个回复 • 247 次浏览 • 2019-02-11 11:16 • 来自相关话题

structured streaming与kafka010整合的问题

回复

chensi 发起了问题 • 1 人关注 • 0 个回复 • 507 次浏览 • 2019-01-25 14:39 • 来自相关话题

spark-submit 提交的spark任务已经结束, 但是spark-submit没有结束

过往记忆 回复了问题 • 4 人关注 • 3 个回复 • 574 次浏览 • 2019-01-21 12:01 • 来自相关话题

请问,stremaming对接kafka,消费到的每批次的数据量由什么决定

回复

刘狗 发起了问题 • 1 人关注 • 0 个回复 • 315 次浏览 • 2019-01-17 15:37 • 来自相关话题

com.google.protobuf.LazyStringList faultCodes_ = com.google.protobuf.LazyStringArrayList.EMPTY;

回复

刘狗 发起了问题 • 1 人关注 • 0 个回复 • 233 次浏览 • 2019-01-11 10:53 • 来自相关话题

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access

回复

刘狗 回复了问题 • 1 人关注 • 1 个回复 • 348 次浏览 • 2019-01-03 18:27 • 来自相关话题


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群