关于修改生产环境中hbase.hregion.max.filesize参数问题

生产环境中hbase.hregion.max.filesize这个参数我使用的是默认值10737418240也就是10G,有10个REGIONSERVER,运行了2个月左右,现在每个REGIONSERVER有40个左右REGION,数据一直保存不删除,我想这个REGION数量增长的太快了,所以需要调大hbase.hregion.max.filesize参数的值,想请问一下设置为多大比较合适,我之前看到有说100G的,另外如果修改这个参数有详细的步骤吗?生产环境,无法停机,也许可以每个REGION滚动重启,求大神指导。
已邀请:

zb

赞同来自:

这个参数生产环境本来一般都是10G-30G 之间,每个regionserver 上有多少个region 其实影响不是很大,只是你要预估出 每个rengionserver 上真正活跃的region 数,活跃的region 数才会使用memstore, 去写啊,,,然后这个参数,首先100G肯定是有问题的,难道scan 正好碰到和这个全region 扫的时候就等这个扫完么。。。我们生产环境设置了20G,所有表开启snappy。
 
而且你这个问题,每个REGIONSERVER有40个左右REGION,每个region 并不一定是你所设置的那么大,也许很小很小,也就是你其实这个参数。你太在意了。针对这个问题真正关注的应该是regionserver 上活跃region,堆和logs 等等的使用情况。

sunday - 星期天的亚索

赞同来自:

我还真见过设成100G的,有个国产数据库叫易鲸jie,哈哈,就这么设的。 region的个数我感觉500以内都可以接受,你把RS的内存给大点就好。重启就改了参数,RS滚动重启就好了。而且region的个数和split策略还有关系,建议你在考虑下是否要设这么大。

要回复问题请先登录注册


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群