hbase hdfs性能指标集成到zabbix方法共享

回复

zxpns18 发起了问题 • 1 人关注 • 0 个回复 • 1367 次浏览 • 2019-02-28 09:51 • 来自相关话题

中国HBase技术社区第十届meetup--HBase生态实践 (杭州站)

过往记忆 发表了文1章 • 0 个评论 • 850 次浏览 • 2019-02-27 14:16 • 来自相关话题

报名地址:点我报名
 
演讲主题及嘉宾
Topic1:基于HBase和Spark构建企业级数据处理平台
           首先介绍下Spark的发展之路,HBase结合Spark如何构建企业级数据处理平台,最后介绍下相关的案例。
Topic2:HBase在有赞的平台实践和应用
          介绍HBase在有赞的部署实践,管控平台实践,我们在社区1.2.6版本之上做了哪些改造,修复了哪些bug,以及结合在有赞的业务场景,介绍HBase的应用实践。
Topic3:云HBase之OpenTSDB时序引擎压缩优化
          1.OpenTSDB设计介绍
          2.介绍云HBase OpenTSDB 压缩优化
          3.介绍云HBase OpenTSDB 使用模式
Topic4:Flink+HBase实时计算场景
         1.Flink简介
         2.Flink优势
         3.Flink典型应用场景
         4.Flink和HBase结合的案例分享

议程安排

13:30-14:00  签到
14:00-14:40  基于HBase和Spark构建企业级数据处理平台   讲师:沐远
14:40-15:20  HBase在有赞的平台实践和应用 讲师:赵原
15:20-15:30  抽奖环节
15:30-16:10  云HBase之OpenTSDB时序引擎压缩优化  讲师:郭泽晖
16:10-16:50  Flink+HBase实时计算场景 讲师:吾与

*主办:中国HBase技术社区;云栖社区

*协办:阿里云飞天八部多模型数据库组;DataFun社区

*合作伙伴:云栖TechDay;开源中国;SegmentFault;掘金;活动行;示说网
 




  查看全部
报名地址:点我报名
 
演讲主题及嘉宾
  • Topic1:基于HBase和Spark构建企业级数据处理平台

           首先介绍下Spark的发展之路,HBase结合Spark如何构建企业级数据处理平台,最后介绍下相关的案例。
  • Topic2:HBase在有赞的平台实践和应用

          介绍HBase在有赞的部署实践,管控平台实践,我们在社区1.2.6版本之上做了哪些改造,修复了哪些bug,以及结合在有赞的业务场景,介绍HBase的应用实践。
  • Topic3:云HBase之OpenTSDB时序引擎压缩优化

          1.OpenTSDB设计介绍
          2.介绍云HBase OpenTSDB 压缩优化
          3.介绍云HBase OpenTSDB 使用模式
  • Topic4:Flink+HBase实时计算场景

         1.Flink简介
         2.Flink优势
         3.Flink典型应用场景
         4.Flink和HBase结合的案例分享

议程安排

13:30-14:00  签到
14:00-14:40  基于HBase和Spark构建企业级数据处理平台   讲师:沐远
14:40-15:20  HBase在有赞的平台实践和应用 讲师:赵原
15:20-15:30  抽奖环节
15:30-16:10  云HBase之OpenTSDB时序引擎压缩优化  讲师:郭泽晖
16:10-16:50  Flink+HBase实时计算场景 讲师:吾与

*主办:中国HBase技术社区;云栖社区

*协办:阿里云飞天八部多模型数据库组;DataFun社区

*合作伙伴:云栖TechDay;开源中国;SegmentFault;掘金;活动行;示说网
 
议程图-2.jpg

 

HBase社区福利 | HBase初学者的福利来袭

过往记忆 发表了文1章 • 0 个评论 • 845 次浏览 • 2019-02-20 13:46 • 来自相关话题

HBase 是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在广大的公司有大量的应用。根据目前公开的数据,阿里巴巴 HBase 集群规模为 12000 多台;京东 HBase 集群规模为 5000 多台;360 HBase 规模为 12500 台;爱奇艺 6000 多台。

HBase 可以说是一个数据库,也可以说是一个存储。拥有双重属性的 HBase 天生就具备广阔的应用场景。在2.0中,引入了OffHeap降低了延迟,可以满足在线的需求。引入MOB,可以存储10M左右的对象,完全适应了对象存储。另外由于自身的并发能力、存储能力,可以说是一个很有竞争力的引擎。HBase 在各大公司的应用场景包括以下几点:
 
推荐画像:特别是用户的画像,是一个比较大的稀疏矩阵,蚂蚁的风控就是构建在HBase之上对象存储:我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中,一些病毒公司的病毒库也是存储在HBase之中时序数据:HBase之上有OpenTSDB模块,可以满足时序类场景的需求时空数据:主要是轨迹、气象网格之类,滴滴打车的轨迹数据主要存在HBase之中,另外在技术所有大一点的数据量的车联网企业,数据都是存在HBase之中CubeDB OLAP:Kylin一个cube分析工具,底层的数据就是存储在HBase之中,不少客户自己基于离线计算构建cube存储在hbase之中,满足在线报表查询的需求消息/订单:在电信领域、银行领域,不少的订单查询底层的存储,另外不少通信、消息同步的应用构建在HBase之上Feeds流:典型的应用就是xx朋友圈类似的应用NewSQL:之上有Phoenix的插件,可以满足二级索引、SQL的需求,对接传统数据需要SQL非事务的需求。

HBase 有着如此多的应用,越来越多的公司都在使用它,这就导致越来越多的开发者们需要学习 HBase。但是HBase是一种分布式的数据库,其正常运行需要部署 HDFS、Zookeeper以及HBase等相关组件;这对于一个新手来说特别复杂,间接增加了我们的学习成本。其实对大部分用户来说,只是想简单的使用 HBase,比如使用它来读写数据,验证某些场景的可行性。对这部分用户,其实他们并不想花太多时间在部署各种组件上面。

基于这些原因,中国HBase技术社区联合阿里云HBase数据库团队为大家带来了福利。阿里云HBase为我们提供了免费的HBase环境,如下:




我们可以通过 https://promotion.aliyun.com/ntms/act/hbasefree.html 链接去申请入。 查看全部
HBase 是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在广大的公司有大量的应用。根据目前公开的数据,阿里巴巴 HBase 集群规模为 12000 多台;京东 HBase 集群规模为 5000 多台;360 HBase 规模为 12500 台;爱奇艺 6000 多台。

HBase 可以说是一个数据库,也可以说是一个存储。拥有双重属性的 HBase 天生就具备广阔的应用场景。在2.0中,引入了OffHeap降低了延迟,可以满足在线的需求。引入MOB,可以存储10M左右的对象,完全适应了对象存储。另外由于自身的并发能力、存储能力,可以说是一个很有竞争力的引擎。HBase 在各大公司的应用场景包括以下几点:
 
  • 推荐画像:特别是用户的画像,是一个比较大的稀疏矩阵,蚂蚁的风控就是构建在HBase之上
  • 对象存储:我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中,一些病毒公司的病毒库也是存储在HBase之中
  • 时序数据:HBase之上有OpenTSDB模块,可以满足时序类场景的需求
  • 时空数据:主要是轨迹、气象网格之类,滴滴打车的轨迹数据主要存在HBase之中,另外在技术所有大一点的数据量的车联网企业,数据都是存在HBase之中
  • CubeDB OLAP:Kylin一个cube分析工具,底层的数据就是存储在HBase之中,不少客户自己基于离线计算构建cube存储在hbase之中,满足在线报表查询的需求
  • 消息/订单:在电信领域、银行领域,不少的订单查询底层的存储,另外不少通信、消息同步的应用构建在HBase之上
  • Feeds流:典型的应用就是xx朋友圈类似的应用
  • NewSQL:之上有Phoenix的插件,可以满足二级索引、SQL的需求,对接传统数据需要SQL非事务的需求。


HBase 有着如此多的应用,越来越多的公司都在使用它,这就导致越来越多的开发者们需要学习 HBase。但是HBase是一种分布式的数据库,其正常运行需要部署 HDFS、Zookeeper以及HBase等相关组件;这对于一个新手来说特别复杂,间接增加了我们的学习成本。其实对大部分用户来说,只是想简单的使用 HBase,比如使用它来读写数据,验证某些场景的可行性。对这部分用户,其实他们并不想花太多时间在部署各种组件上面。

基于这些原因,中国HBase技术社区联合阿里云HBase数据库团队为大家带来了福利。阿里云HBase为我们提供了免费的HBase环境,如下:
微信截图_20190220134510.png

我们可以通过 https://promotion.aliyun.com/ntms/act/hbasefree.html 链接去申请入。

编译hbase出错

回复

point 发起了问题 • 1 人关注 • 0 个回复 • 595 次浏览 • 2019-02-18 20:28 • 来自相关话题

如何记录每一次请求的时间?

过往记忆 回复了问题 • 2 人关注 • 1 个回复 • 399 次浏览 • 2019-02-15 19:12 • 来自相关话题

有没有大佬做过cdh manager主机迁移的

果农 回复了问题 • 2 人关注 • 2 个回复 • 582 次浏览 • 2019-02-11 22:40 • 来自相关话题

hbck2 问题咨询

Sophie 回复了问题 • 4 人关注 • 2 个回复 • 882 次浏览 • 2019-02-03 11:10 • 来自相关话题

hbase的表无法删除(drop),提示:The procedure 28 is still running

HBaseAiHaoZhe 回复了问题 • 5 人关注 • 4 个回复 • 5277 次浏览 • 2019-01-28 14:46 • 来自相关话题

hbase异常退出

Jepson 回复了问题 • 2 人关注 • 1 个回复 • 536 次浏览 • 2019-01-28 10:04 • 来自相关话题

hbase scan的顺序问题

Leo 回复了问题 • 2 人关注 • 1 个回复 • 511 次浏览 • 2019-01-25 16:10 • 来自相关话题

Hbase 总是启动不起来

lxj276058885 回复了问题 • 2 人关注 • 1 个回复 • 396 次浏览 • 2019-01-24 17:01 • 来自相关话题

snapshot 能用纠删码技术吗

回复

datasir 发起了问题 • 1 人关注 • 0 个回复 • 639 次浏览 • 2019-01-23 15:31 • 来自相关话题

手动merge region后Region立即再次split

ProgramGeek 回复了问题 • 6 人关注 • 6 个回复 • 1682 次浏览 • 2019-01-22 18:53 • 来自相关话题

spark scan hbase报错如下,请问大佬有遇到的吗

回复

evilxjz 发起了问题 • 1 人关注 • 0 个回复 • 696 次浏览 • 2019-01-22 13:12 • 来自相关话题

Hbase中有没有办法修改table中一个column的名字呢?

回复

匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 586 次浏览 • 2019-01-21 12:58 • 来自相关话题

【hbase-2.0.2】 hbase节点自己挂掉

Potato 回复了问题 • 3 人关注 • 2 个回复 • 1898 次浏览 • 2019-01-18 21:35 • 来自相关话题

spark读取hbase时显示NoServerForRegionException

回复

HongHuangNeu 发起了问题 • 1 人关注 • 0 个回复 • 515 次浏览 • 2019-01-17 11:51 • 来自相关话题

qps很低,但是报ipc.RpcServer: (responseTooSlow): {"call":"Mutate(

回复

evilxjz 发起了问题 • 1 人关注 • 0 个回复 • 1799 次浏览 • 2019-01-11 12:01 • 来自相关话题


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群