如何快速统计 HBase 里面有多少行数据

hbasesoso24w 回复了问题 • 10 人关注 • 9 个回复 • 3264 次浏览 • 2018-09-30 16:54 • 来自相关话题

【招聘】 阿里云-数据库团队-数据产品专家

招聘hbase 发表了文章 • 1 个评论 • 945 次浏览 • 2018-08-01 10:20 • 来自相关话题

级别:产品专家
地点:杭州、北京、深圳 均可
 

负责ApsaraDB数据库产品设计,ApsaraDB数据库服务是阿里云核心的数据类的产品,是阿里云最为重要的PASS平台之一。一起打造世界级的数据库产品,一起走102年。
你会接触一流的工程师,你也会接触阿里云服务的大客户,站在世界级的舞台与大家一起探讨未来。

工作内容:
0. 负责ApsaraDB HBase产品建设,包括延伸的多模式数据库solr、Phoenix、opentsdb、geomesa、janusgraph、spark等
1. 完成市场调研与竞争对手分析,准确定义数据库/大数据具有市场竞争力的产品
2. 规划产品的生命周期和交付形态,对项目结果负责
3. 关注用户体验负责,产出安全、稳定、易用的产品
4. 组织研发、测试、运维、运营的高效沟通
5. 支持业务团队完成业务目标
6. 负责多模式数据库构建,spark的分析等
7. 负责具体案例落实,打造物联网、互联网一体化数据库

要求:
1. 计算机科学领域(CS)学士或硕士学位
2. 对大数据架构基本了解,有一定的大数据架构经验
3. 熟悉Hadoop\Spark\HBase\MongoDB\Redis优先
4. 了解数据库基本理论、大数据基本理论、云计算
5. 程序员/DBA出身优先
6. 熟悉大数据方案架构优先
7. 相信自己,愿意挑战难度,勇登高峰

 
联系人:封神
邮件:dragon.caol@alibaba-inc.com
 
欢迎研发转产品 查看全部
级别:产品专家
地点:杭州、北京、深圳 均可
 

负责ApsaraDB数据库产品设计,ApsaraDB数据库服务是阿里云核心的数据类的产品,是阿里云最为重要的PASS平台之一。一起打造世界级的数据库产品,一起走102年。
你会接触一流的工程师,你也会接触阿里云服务的大客户,站在世界级的舞台与大家一起探讨未来。

工作内容:
0. 负责ApsaraDB HBase产品建设,包括延伸的多模式数据库solr、Phoenix、opentsdb、geomesa、janusgraph、spark等
1. 完成市场调研与竞争对手分析,准确定义数据库/大数据具有市场竞争力的产品
2. 规划产品的生命周期和交付形态,对项目结果负责
3. 关注用户体验负责,产出安全、稳定、易用的产品
4. 组织研发、测试、运维、运营的高效沟通
5. 支持业务团队完成业务目标
6. 负责多模式数据库构建,spark的分析等
7. 负责具体案例落实,打造物联网、互联网一体化数据库

要求:
1. 计算机科学领域(CS)学士或硕士学位
2. 对大数据架构基本了解,有一定的大数据架构经验
3. 熟悉Hadoop\Spark\HBase\MongoDB\Redis优先
4. 了解数据库基本理论、大数据基本理论、云计算
5. 程序员/DBA出身优先
6. 熟悉大数据方案架构优先
7. 相信自己,愿意挑战难度,勇登高峰

 
联系人:封神
邮件:dragon.caol@alibaba-inc.com
 
欢迎研发转产品

HBasecon Asia 2018 招聘志愿者

活动过往记忆 发表了文章 • 0 个评论 • 762 次浏览 • 2018-07-30 14:29 • 来自相关话题

Apache旗下顶级开源盛会 HBasecon Asia 2018 将于8月17日在京举行。作为国内的主要社区贡献者,阿里巴巴此次联合小米、华为、滴滴等国内主流互联网企业承办的 HBasecon Asia 2018 峰会落户北京,不仅得到了 Apache 官方授权,还得了有来自 Cloudera,Intel 等商业公司社区 PMC 的强烈支持。通过参会不仅可以了解到 HBase 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 HBase 生态的生产实践经验,是 HBase 开发者和使用者不可错过的盛会。
 
为维护大会的有序进行,现面向社会招募本次大会志愿者约8人,名额有限,先到先得。

具体说明如下:
一、时间:2018年8月17日
二、地点:歌华开元大酒店
三、性质:志愿服务
四、报名条件:服从组织安排,8月17日那天周五要能来。
五、服务内容:大会嘉宾注册、嘉宾入场、接待、咨询、引导、媒体宣传等;
六、报名时间:即日起到2018年8月16日。
七、志愿者报名联系:微信: iteblog、钉钉:rvix4rb
八、志愿者福利:每名志愿者都可以获取限量版大会定制T恤、送餐票、优先加入 hbase技术社区,成为社区助理,参与社区活动。 查看全部
Apache旗下顶级开源盛会 HBasecon Asia 2018 将于8月17日在京举行。作为国内的主要社区贡献者,阿里巴巴此次联合小米、华为、滴滴等国内主流互联网企业承办的 HBasecon Asia 2018 峰会落户北京,不仅得到了 Apache 官方授权,还得了有来自 Cloudera,Intel 等商业公司社区 PMC 的强烈支持。通过参会不仅可以了解到 HBase 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 HBase 生态的生产实践经验,是 HBase 开发者和使用者不可错过的盛会。
 
为维护大会的有序进行,现面向社会招募本次大会志愿者约8人,名额有限,先到先得。

具体说明如下
一、时间:2018年8月17日
二、地点:歌华开元大酒店
三、性质:志愿服务
四、报名条件:服从组织安排,8月17日那天周五要能来。
五、服务内容:大会嘉宾注册、嘉宾入场、接待、咨询、引导、媒体宣传等;
六、报名时间:即日起到2018年8月16日。
七、志愿者报名联系:微信: iteblog、钉钉:rvix4rb
八、志愿者福利:每名志愿者都可以获取限量版大会定制T恤、送餐票、优先加入 hbase技术社区,成为社区助理,参与社区活动。

2018 HBase Meetup 演讲者和议题征集

活动过往记忆 发表了文章 • 0 个评论 • 1581 次浏览 • 2018-07-30 14:21 • 来自相关话题

HBase Meetup 会议由 HBase技术社区主办,分别在各大城市进行。前四期 HBase Meetup 会议分别在北京、杭州和上海圆满结束。来自各大公司的各位 HBase 的 PMC、committer 共聚一堂,为大家分享了 HBase 技术解析及应用实践。 

接下来我们将在武汉、成都、南京、苏州、广州、西安、厦门以及重庆等城市继续举办 HBase Meetup 会议。现向大家征集这几次会议的大会演讲者和议题,如果大家有意来分享,可以到 http://cn.mikecrm.com/zh19LHN 参加调查问卷,欢迎大家踊跃参与。同时愿意主动主办的公司,也可以来联系我。
 
议题范围:HBase 内容相关,鼓励大家分享 HBase 使用场景。
 
投送议题时需要说明议题名称和简介,PPT可后续完成。
 
报名咨询:
微信:iteblog
钉钉:rvix4rb

各地 Meetup 举办时间:











下面几个城市需要投票决定是否举办,投票地址:https://wj.qq.com/s/2315656/9e0f






后续活动报名时间以及网址请关照 HBase技术社区官方网站以及 HBase技术社区 公众号。
 
  查看全部
HBase Meetup 会议由 HBase技术社区主办,分别在各大城市进行。前四期 HBase Meetup 会议分别在北京、杭州和上海圆满结束。来自各大公司的各位 HBase 的 PMC、committer 共聚一堂,为大家分享了 HBase 技术解析及应用实践。 

接下来我们将在武汉、成都、南京、苏州、广州、西安、厦门以及重庆等城市继续举办 HBase Meetup 会议。现向大家征集这几次会议的大会演讲者和议题,如果大家有意来分享,可以到 http://cn.mikecrm.com/zh19LHN 参加调查问卷,欢迎大家踊跃参与。同时愿意主动主办的公司,也可以来联系我。
 
议题范围:HBase 内容相关,鼓励大家分享 HBase 使用场景。
 
投送议题时需要说明议题名称和简介,PPT可后续完成。
 
报名咨询:
微信:iteblog
钉钉:rvix4rb

各地 Meetup 举办时间

menu.saveimg_.savepath20180912101143_.jpg


menu.saveimg_.savepath20180912101158_.jpg


下面几个城市需要投票决定是否举办,投票地址:https://wj.qq.com/s/2315656/9e0f

微信图片_20180912100740.png


后续活动报名时间以及网址请关照 HBase技术社区官方网站以及 HBase技术社区 公众号。
 
 

HBase全网最佳学习资料汇总

hbasehbase 发表了文章 • 0 个评论 • 1684 次浏览 • 2018-02-05 21:55 • 来自相关话题

1、前言
 HBase这几年在国内使用的越来越广泛,在一定规模的企业中几乎是必备存储引擎,互联网企业阿里巴巴、京东、小米都有数千台的HBase集群,中国电信的话单、中国人寿的保单都是存储在HBase中。注意大公司有数十个数百个HBase集群,此点跟Hadoop集群很不相同。另外,数据需求,很多公司是mysql+hbase+hadoop(spark),满足关系型数据库需求,满足大规模结构化存储需求,满足复杂分析的需求。如此流行的原因来源于很多方面,如:
  - 开源繁荣的生态:1. 任何公司倒闭了,开源的HBase还在 2.几乎每家公司都可以去下载源码,改进她,再反馈给社区,就如阿里已经反馈了数百个patch了。加入的人越多,引擎就越好
  - 跟HADOOP深度结合:本就同根同源,在数据存储在HBase后,如果想复杂分析,则非常方便
  - 高扩展、高容量、高性能、低成本、低延迟、稀疏宽表、动态列、TTL、多版本等最为关键,起源google论文,发扬社区及广大互联网公司,设计之初就是为存储互联网,后经过多年的改进升级,如今已经是结构化存储的事实标准

以下资料会一直更新中......请大家关注!

2、书籍
最好买纸质书籍,集中时间看下
HBase权威指南(HBase: The Definitive Guide):理论多一些HBase实战:实践多一些
3、总结性
HBase2.0: HBase2.0 :预计今年会发布,hbase2.0是革命性的版本HBase Phoenix:Apache Phoenix与HBase:HBase之上SQL的过去,现在和未来 社区hbase博客:https://blogs.apache.org/hbase/
4、方法论
学术界关于HBase应用场景(物联网/车联网/交通/电力等)研究大全: HBase在互联网领域有广泛的应用,比如:互联网的消息系统的存储、订单的存储、搜索原材料的存储、用户画像数据的存储等。得益于HBase海量的存储量及超高并发写入读取量。HBase在09年就开始在工业界大范围使用,在学术界,也有非常多的高校、机构在研究HBase应用于不同的行业,本文主要梳理下这些资料(主要是中文资料,有一些是硕士论文\期刊),这些很多都在工业界使用了。HBase使用场景和成功案例  存储互联网的初心不变 一种基于物联网大数据的设备信息采集系统及方法:怎么使用HBase、sparkStreaming、redis处理物联网大数据一种基于HBase的智能电网时序大数据处理方方案:一种基于HBase的智能电网时序大数据处理方方案HBase配合GeoHash算法支持经纬度:此文主要讲GeoHash算法的基于HBase的海量GIS数据分布式处理实践:设计了一种基于分布式数据库HBase的GIS数据管理系统。系统优化了栅格数据的生成和存储过程,将海量栅格数据直接写入HBase存储、索引。同时,针对矢量空间数据的存储、索引与检索,提出了一种新的rowkey设计,既考虑经纬度,又考虑空间数据类型和属性,使得在按空间位置检索矢量地理信息时,能通过HBase的rowkey迅速定位需要返回的数据。在HBase的集群环境上用真实GIS数据对上述方法进行了验证,结果表明,提出的系统具有较高的海量数据存储和检索性能,实现了海量地理信息数据的高效存储和实时高速检索。基于HBase的金融时序数据存储系统:金融类时序数据的存储方案,写的还是结合实际场景的。
5、各大公司的实践
基本围绕在用户画像、安全风控、订单存储、交通轨迹、物理网、监控、大数据中间存储、搜索、推荐等方面:
阿里巴巴-大数据时代的结构化存储HBase在阿里的应用实践:讲述在阿里巴巴集团的实践,HBase在阿里集团已经10000台左右,主要在订单、监控、风控、消息、大数据计算等领域使用阿里巴巴搜索-Hbase在阿里巴巴搜索中的完美应用实践:讲述在搜索场景下hbase的应用及相关的改进日均采集1200亿数据点,腾讯千亿级服务器监控数据存储实践:本文将从当前存储架构存在的问题出发,介绍从尝试使用 Opentsdb 到自行设计 Hbase 存储方案来存储 TMP 服务器海量监控数据的实践历程。滴滴-HBase在滴滴出行的应用场景和最佳实践:统计结果、报表类数据、原始事实类数据、中间结果数据、线上系统的备份数据的一些应用HBase上搭建广告实时数据处理平台]:主要分享 1. 如何通过HBase实现数据流实时关联 2. 如何保证重要的计费数据不重不丢 3. HBase实战经验,优化负载均衡、读写缓存、批量读写等性能问题HBase在京东的实践 :跟阿里一样,京东各个业务线使用了HBase,如:风控、订单、商品评价等中国人寿基于HBase的企业级大数据平台:使用一个大跨表存储所有的保单,HBase宽表的实践HBase在Hulu的使用和实践:用户画像、订单存储系统、日志存储系统的使用Apache HBase at Netease:在报表、监控、日志类业务、消息类业务、推荐类业务、风控类业务有所使用,另外讲述了一些优化的点。10 Million Smart Meter Data with Apache HBase:讲述Hitachi为什么选择hbase及在HBase方面的应用G7:如何用云计算链接30万车辆--EMR&Hbase 在物联网领域的实践及解决方案 讲述了怎么使用spark及hbase来满足物联网的需求
6、结尾
  这些资料是笔者整理,以供有大规模结构化需求的用户及HBase爱好者学习交流,以使用HBase更好的解决实际的问题。欢迎传播,原文路径:http://www.hbase.group/hbase/?/article/1

7、声明
以上资料来自互联网,如果侵权,请联系我删除 查看全部
1、前言
 HBase这几年在国内使用的越来越广泛,在一定规模的企业中几乎是必备存储引擎,互联网企业阿里巴巴、京东、小米都有数千台的HBase集群,中国电信的话单、中国人寿的保单都是存储在HBase中。注意大公司有数十个数百个HBase集群,此点跟Hadoop集群很不相同。另外,数据需求,很多公司是mysql+hbase+hadoop(spark),满足关系型数据库需求,满足大规模结构化存储需求,满足复杂分析的需求。如此流行的原因来源于很多方面,如:
  - 开源繁荣的生态:1. 任何公司倒闭了,开源的HBase还在 2.几乎每家公司都可以去下载源码,改进她,再反馈给社区,就如阿里已经反馈了数百个patch了。加入的人越多,引擎就越好
  - 跟HADOOP深度结合:本就同根同源,在数据存储在HBase后,如果想复杂分析,则非常方便
  - 高扩展、高容量、高性能、低成本、低延迟、稀疏宽表、动态列、TTL、多版本等最为关键,起源google论文,发扬社区及广大互联网公司,设计之初就是为存储互联网,后经过多年的改进升级,如今已经是结构化存储的事实标准

以下资料会一直更新中......请大家关注!

2、书籍
最好买纸质书籍,集中时间看下
  • HBase权威指南(HBase: The Definitive Guide):理论多一些
  • HBase实战:实践多一些

3、总结性

4、方法论

5、各大公司的实践
基本围绕在用户画像、安全风控、订单存储、交通轨迹、物理网、监控、大数据中间存储、搜索、推荐等方面:

6、结尾
  这些资料是笔者整理,以供有大规模结构化需求的用户及HBase爱好者学习交流,以使用HBase更好的解决实际的问题。欢迎传播,原文路径:http://www.hbase.group/hbase/?/article/1

7、声明
以上资料来自互联网,如果侵权,请联系我删除

hbase2什么时候发布?

hbasehmaster 回复了问题 • 5 人关注 • 3 个回复 • 2956 次浏览 • 2018-03-12 14:37 • 来自相关话题


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群