structedStreaming似乎不能指定groupid,如果任务重启,重新分配了groupid,那岂不是偏移量不能接上回的消费了吗

回复

刘狗 发起了问题 • 1 人关注 • 0 个回复 • 156 次浏览 • 2020-05-20 18:07 • 来自相关话题

spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉,求大佬分析原因何在。。

刘狗 回复了问题 • 5 人关注 • 3 个回复 • 4609 次浏览 • 2019-08-22 17:20 • 来自相关话题

streaming作业动态更新广播变量

[已注销] 回复了问题 • 2 人关注 • 1 个回复 • 1662 次浏览 • 2019-08-10 18:22 • 来自相关话题

sparkStreaming 很多很多batch开始处于queued状态

[已注销] 回复了问题 • 2 人关注 • 2 个回复 • 505 次浏览 • 2019-08-10 16:26 • 来自相关话题

小白求解:spark的executor的storage memory随着时间一直在增大?这样最终会OOM吗

wangfei 回复了问题 • 2 人关注 • 1 个回复 • 550 次浏览 • 2019-06-07 13:43 • 来自相关话题

关于spark优化数据格式问题(fastUtil,jdk,hppc集合框架选择)

回复

刘狗 发起了问题 • 1 人关注 • 0 个回复 • 467 次浏览 • 2019-05-20 17:36 • 来自相关话题

如何保证sc读到的内容为空时,saveAsHadoopFile可以不生成空文件

machuan 回复了问题 • 3 人关注 • 2 个回复 • 1126 次浏览 • 2019-05-04 23:19 • 来自相关话题

spark Streaming的batch Time可以动态修改吗

zb 回复了问题 • 3 人关注 • 2 个回复 • 475 次浏览 • 2019-04-30 11:48 • 来自相关话题

spark连接phoenix操作Hbase报连接错误

anbbrr 回复了问题 • 3 人关注 • 3 个回复 • 1637 次浏览 • 2019-04-28 15:41 • 来自相关话题

在yarn上跑spark任务,NodeManager的Container频繁自杀

linefly 回复了问题 • 2 人关注 • 4 个回复 • 1705 次浏览 • 2019-04-22 22:30 • 来自相关话题

spark dataset 聚合操作问题

Genieliu 回复了问题 • 1 人关注 • 1 个回复 • 590 次浏览 • 2019-04-15 08:51 • 来自相关话题

spark 数据倾斜解决思路?

回复

刘狗 发起了问题 • 0 人关注 • 0 个回复 • 563 次浏览 • 2019-03-20 18:28 • 来自相关话题

spark读取redis只能返回string类型的RDD,如果redis中存储protobuf序列化后的byte[],spark该怎么获取到结果的类型是byte[]的RDD

回复

刘狗 回复了问题 • 1 人关注 • 1 个回复 • 669 次浏览 • 2019-03-19 08:31 • 来自相关话题

在spark算子中开辟内存保存结果数据,这样做高效吗

muyuan 回复了问题 • 2 人关注 • 1 个回复 • 570 次浏览 • 2019-03-13 20:13 • 来自相关话题

hive 两个时间的时间差如何与7个工作日做比较?

回复

jinzhao 回复了问题 • 1 人关注 • 1 个回复 • 662 次浏览 • 2019-02-11 11:16 • 来自相关话题


中国HBase技术社区微信公众号:
hbasegroup

欢迎加入HBase生态+Spark社区钉钉大群