将生成好的Hfile 通过LoadIncrementalHFiles导入到hbase中,Hfile一直在split

hbase 版本是1.0.2,hbase是一个写很重的集群。
问题如下:
spark在读取数据后生成好hfile后,通过LoadIncrementalHFiles将Hfile导入到hbase中,本来生成的HFile大小约1.2T,但是在导入过程中,查看hfile一直在split,且文件大小一直在膨胀好几十倍,能膨胀到50T+的存储。导致整个load Hfile的过程太慢,请问,整个问题怎么来优化hbase?
hbase配置:
hbase.hregion.max.filesize:10g
hbase.regionserver.global.memstore.size:0.4
hbase.hregion.memstore.flush.size:128m
 
已邀请:

要回复问题请先登录注册


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群