1.Scan的复杂之处
2.HBase最佳实践 – Scan用法大观园
3.hbase scan的startRow和endRow
4.HBase scan命令详解
5.HBase scan setBatch和setCaching的区别

Scan的复杂之处

       HBase原理与实践

       扫描API设计核心 - Scan

       在HBase中，Scan是一个用于扫描表中数据的重要API。然而，它并非直接将满足条件的所有数据一次性返回，而是通过客户端与服务器之间进行多次交互完成数据获取。这种设计在确保数据完整性与效率之间做出平衡。opencv源码研究

       Scan工作流程概览

       图示展示了Scan的客户端代码流程。在for循环中，每轮迭代调用ResultScanner对象的next方法获取一行记录。实际操作中，客户端频繁向服务器发送next请求。

       Scan设计的多轮next请求模式

       这种设计旨在避免在数据量庞大时出现异常情况。然而，从效率角度来看，svs网源码可能并不理想。接下来，我们探讨Scan设计中的优缺点。

       优点与缺点并存

       Scan通过多次next请求确保数据完整性和处理异常情况，避免一次性请求带来的潜在风险。但频繁的网络交互可能导致性能开销，影响扫描效率，特别是当数据量巨大时。

HBase最佳实践 – Scan用法大观园

       HBase 从用法的角度来讲其实乏陈可善，所有更新插入删除基本一两个 API 就可以搞定。要说稍微有点复杂的话，Scan 的用法可能会多一些说头。扫描用法包括 ScanAPI、黄瓜app 源码TableScanMR 以及 SnapshotScanMR。这三种用法各有特点，适用于不同的应用场景。以下将分别对这三种用法进行解析，并对比它们的原理、效率和最佳实践，以帮助读者更好地理解 Scan 的使用。

       Scan API 是最常见的用法，基于官方 API 文档。Scan 的工作原理涉及到客户端代码中的 ResultScanner 对象，实际操作中，客户端不断调用 next 请求获取数据，这个过程可以分为几个步骤。be源码bs这种设计模式在大数据量场景下可能会遇到一些挑战，主要体现在效率和异常处理方面。

       ScanAPI 的应用场景通常局限于 OLTP（在线事务处理）场景，对于需要从 HBase 扫描大量数据进行 OLAP（在线分析处理）分析的业务，可以考虑使用 TableScanMR 和 SnapshotScanMR。TableScanMR 是 ScanAPI 的并行化版本，通过将扫描请求分解为多个子扫描，提高了扫描效率。SnapshotScanMR 与 TableScanMR 类似，但采用了客户端直接访问 HDFS 的方式，进一步优化了扫描性能。

       为了确保扫描操作的高效执行，TableScanMR 和 SnapshotScanMR 都提供了一些最佳实践建议，懋嘉 源码如设置缓存大小、避免不必要的并行操作等。这些实践有助于优化扫描性能，尤其是在处理大数据量时。

       在实际应用中，TableScanMR 和 SnapshotScanMR 都存在一些问题，比如对大 region 的扫描粒度仍然较大，以及在某些情况下生成的 Mapper 较少。为了解决这些问题，需要提供更精细的扫描粒度策略。性能对比显示，SnapshotScanMR 在某些场景下表现出更好的性能，但其当前版本可能仍存在一些不完善之处，需要进一步优化。

       总之，Scan 的使用需要根据实际业务需求选择合适的扫描方法，并结合最佳实践来优化性能。通过理解不同扫描方法的原理和特点，开发者可以更有效地利用 HBase 进行数据查询和分析。

hbase scan的startRow和endRow

       ä¸¾ä¸€ä¸ªåœºæ™¯ï¼Œå®‰å…¨é¢†åŸŸçš„溯源分析，查询维度包括ip，时间戳，端口，协议，可能根据前两的维度的一个或者几个进行原始日志查询，我们可以把原始日志存储到hbase中，而前面提到的几个维度可以分别作为key的一部分。

        首先我们应该考虑的是rowkey的设置，第一：散列或者反转，保证数据会随机分布到不同的region当中。第二：预分区，先对数据做一个基本的统计，比如我们预分十个区，我们可以统计一下每个区的startrow和endrow，这样保证每个区的数据相当，另外这样的好处是当我们根据rowkey查询的时候，可以保证直接定位到某个分区。我们线上的数据就是采用的第二种方式。

        然后我们应该考虑rowkey的组成。分两种情况，第一种情况：维度不是特别多，我们完全可以把各个维度分别作为rowkey的一部分，比如上文提到的需求，就是采用的这种方式，因为一共四个维度，相对来说比较少。第二种情况：维度过多，如果都作为rowkey的一部分的话长度太大，此时建议考虑二级索引，举个例子：比如对于上面提到的四个维度，如果现在进行扩展，ip，端口，协议需要定位到源和目的，这样的话，整个维度提升到了七个，此时就建议采用二级索引。

        目前我们已经确定了hbase存储，并且采用预分区的方式并且采用rowkey进行过滤查询，那么现在考虑rowkey的设计。从技术角度考虑，预分区的方式时间戳不能作为第一部分，这样一定会出现数据倾斜的现象；从业务角度考虑，我们定位日志的时候，首先需要定位ip，然后是端口，最后才是协议，也就是说我们的用户去定位日志的时候，如果定位到端口，那必须先定位ip，如果定位协议的话，必须先定位ip和端口。

        综上所述，我们的rowkey设计为ip+timestamp+port+prot

        设计搞定之后，我们再考虑查询的问题。我们知道对于hbase的查询，最快的方式就是get，这样的话，可以迅速定位到一条数据。而get查询其实就是scan的特殊情况，只是startRow和endRow一样。所以此时我们可以采用scan+startRow+endRow的方式进行操作。

        e.g

        这样的话就可以吧该范围的数据查出来，当然我们可以再在内存中进行过滤

        当着startRow和endRow需要注意一些情况。

        请参考：blogs.com/llphhl/p/.html

HBase scan命令详解

       hbase中scan命令是日常使用频率较高的操作之一，其中filter功能尤为强大。以下是对scan命令下filter使用方法的简要介绍。

       为了演示，我们模拟了部分微博评论数据，并将这些数据通过代码插入到hbase中。具体的代码实现细节这里不做展开，因为相对简单。

       在hbase中，表名为zy_comment，列簇info下包含articleType和commentInfo两个列。commentInfo的value是上述Comment类的JSON字符串，插入的数据如下所示。

       HBase数据存储顺序遵循三维有序原则，即rowkey（行键）、column key（列族和列限定符）和时间戳（Timestamp）。这三个维度按照ASCII码表排序（例如，A排在a前面）。

       scan命令中，Filter功能经常被大量使用。在hbase shell中提供的filter都可以在hbase client包中找到对应的类，它们都是Filter的子类。许多命令都是通过filter来实现的。

       使用show_filters命令可以查看shell中定义了哪些filter常量。如果想要使用shell中未定义的常量，在使用时必须手动导入filter的全路径。

       使用help 'scan'命令可以查看scan的语法和用法。关于scan命令中filter的使用规则如下：{ }中的语法是ruby的map语法，FILTER必须大写，filter的参数是根据构造方法来的，相当于java中的new Filter('param1','param2')等，这里只是省略了new参数而已。当然，也可以使用ruby中new对象的方式，只是那样就必须使用全限定名称。下面会举一个全限定名称的例子。

       在使用Filter的过程中，部分filter会用到比较器(CompareOperator.java)和运算比较符(ByteArrayComparable.java)。比较器主要有以下几种：

       查询方式通过rowKey进行查询是最快的，因此rowkey的设计一定要合理，否则会影响查询速度。但有时确实无法完全通过rowkey进行查询，这时就需要借助scan命令。scan命令支持的修饰词除了列（COLUMNS）修饰词外，HBase还支持Limit（限制查询结果行数）、STARTROW（ROWKEY起始行）、STOPROW（结束行）、TIMERANGE（限定时间戳范围）、VERSIONS（版本数）和FILTER（按条件过滤行）等。

       需要注意的是，binary中的数据必须是二进制字符串，而不是具体的值。

       参考文章：

        acadgild.com/blog/diffe...

        blog.csdn.net/u...

HBase scan setBatch和setCaching的区别

       HBase的查询实现只提供两种方式：

       1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）

       2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan）

       å®žçŽ°æ¡ä»¶æŸ¥è¯¢åŠŸèƒ½ä½¿ç”¨çš„就是scan方式，scan在使用时有以下几点值得注意：

       1、scan可以通过setCaching与setBatch方法提高速度（以空间换时间）；

       2、scan可以通过setStartRow与setEndRow来限定范围（[start，end）start是闭区间，end是开区间）。范围越小，性能越高。

       é€šè¿‡å·§å¦™çš„RowKey设计使我们批量获取记录集合中的元素挨在一起（应该在同一个Region下），可以在遍历结果时获得很好的性能。

       3、scan可以通过setFilter方法添加过滤器，这也是分页、多条件查询的基础。

       scan中的setCaching与setBatch方法的区别是什么呢？

       setCaching设置的值为每次rpc的请求记录数，默认是1；cache大可以优化性能，但是太大了会花费很长的时间进行一次传输。

       setBatch设置每次取的column size；有些row特别大，所以需要分开传给client，就是一次传一个row的几个column。

       batch和caching和hbase table column size共同决意了rpc的次数。