spark saveAsNewAPIHadoopDataset的方式入库hbase问题

我用saveAsNewAPIHadoopDatase方式入库,结果根据executor driver数量,对zookeeper进行了200次连接,降低executor driver应不合适额,请问有什么好的方式吗
已邀请:

muyuan

赞同来自:

这里是用的是TableOutPutformat么?
“降低executor driver应不合适额,请问有什么好的方式吗”这里是什么意思呢
 

Jepson

赞同来自:

我们是spark+phoenix直接DF保存的

//保存: 
oms_orderinfoDF
.write
.format("org.apache.phoenix.spark") 
.mode(SaveMode.Overwrite
.option("table", "JYDW.oms_orderinfo") 
.option("zkUrl",zkUrl
.save()
 
然而并没有出现你说的那么夸张的zk连接数,我们zk connections 曲线都是平缓平稳的

要回复问题请先登录注册


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群