Spark性能问题咨询

1.spark dataframe job通过oozie配置调度后,为什么在yarn cluster 监控页面里面观察到的application type是MapperReduce,而不是Spark类型?
2. spark dataframe 如果在处理多重迭代计算时, 存在上一迭代的结果集在下个迭代中使用,现在都是通过创建临时表来实现,有什么方式可以进行性能优化的?
 
已邀请:

要回复问题请先登录注册


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群