2023年12月7日
Hive分页bug处理
最近在做hive数据同步,源表总数有12W9192,然后通过分页语句进行三次查询,结果数据量超标了,
limit 0.50000
limit 50000.100000
limit 100000,150000

最后采用Limit offset解决该问题

最近在做hive数据同步,源表总数有12W9192,然后通过分页语句进行三次查询,结果数据量超标了,
limit 0.50000
limit 50000.100000
limit 100000,150000
最后采用Limit offset解决该问题