HBase实现记录定期定量删除

文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbase.apache.org/apidocs/index.html？overview-summary.htmlBegin！

HBase如何实现定期定量的删除记录？

使用场景分析：我们在HBase中存储的记录可能有一些是增速很快且又不需要永久保存的，比如大量的“系统日志”，也许只需保存最近几个月记录便可。我们的存储空间又很有限，尤其是HDFS这种多副本容灾存储。再加上HBase在存储每一行数据时，分别要为每一列保存一份rowKey，如果一行有10列，光rowKey就要存储10份，开销可想而知。因此定期定量删除的功能也就成了普遍的需求。

一、如何定期删除数据？

使用表格级的属性：TTL（Time To Live），设置记录的有效期，当前时间超过记录有效期后该记录将被自动删除。记录的有效期 = TimeStamp + TTL；

二、如何在数据超过阈值时删除数据？

比如我们限定某张表最多占用约1T的空间，当数据超过1T时就删除表中最老的一部分数据。

1、在HDFS层面，获取表格占用空间。

通过Configuration实例创建FileSystem实例，调用Fs的getContentSummary（Path f）获取表格目录的ContentSummary实例，再调用getLength（）便可获得该表格的大小。

2、若表格大小超过阈值，删除时间戳较小的一定量的记录。

通过hbase api中scan的setTimeRange方法完成待删除的数据筛选，然后删之~HBase条件查询（多条件查询）HBase在处理中文字符串时的问题相关资讯 Hbase HBase删除

HBase 参考文档翻译之 Getting （08月15日）
HBase应用开发回顾与总结系列（01月10日）
Apache HBase 2015年发展回顾与未（01月04日）

为啥HBase需要搭建SQL引擎层（02月19日）
HBase表数据分页处理（01月10日）
Hbase VS Oracle （11/21/2015 20:22:40）

本文评论查看全部评论（0）