小白求解:spark的executor的storage memory随着时间一直在增大?这样最终会OOM吗


123.png

SparkStream程序只是简单的消费kafka数据然后保存到ES中,没有用到cache等操作。每次消费到数据后,executor的storage memory都会缓慢增大。
 
小白求解。
已邀请:

wangfei - sparker@netease

赞同来自:

有一个阈值。spark 1.6.0 出现了统一内存管理,是打破了shuffle 内存和storage内存的静态限制。通俗的描述,就是如果storage内存不够,而shuffle内存剩余就能借内存,如果shuffle内存不足,此时如果storage已经超出了storageRegionSize,那么就驱逐当前使用storage内存-storageRegionSize,如果storage 使用没有超过storageRegionSize,那么则把它剩余的都可以借给shuffle使用。

要回复问题请先登录注册


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群