Hive SQL判断一个字符串中是否包含字串的N种方式及其效率

Hive SQL判断一个字符串中是否包含字串的N种方式及其效率

• 背景
• • 方案1:regexp_extract
  • 方案2:instr
  • 方案3:locate
  • 方案4:like
  • 方案5: rlike
  • 方案6:strpos
  • 计算效率对比

    背景

    这是个常见需求，某个表tab中，需要判断某个string类型的字段中，哪些数据含有一个子串。以下给出6种方案，并给出效率对比。

    方案1:regexp_extract

    可以使用regexp_extract(subject, pattern, index)函数来提取字符串中匹配指定正则表达式的字串。要判断一个字符串中是否包含字串"ABCD;"，可以使用如下代码：

    SELECT
      CASE
        WHEN regexp_extract(subject, 'ABCD;', 0) != '' THEN '包含'
        ELSE '不包含'
      END AS is_contain
    FROM
      your_table;
    

    其中，subject是要判断的字符串，'ABCD;‘是要匹配的字串，0表示从整个匹配结果中获取整个字串。如果返回的字串不为空，则说明匹配到了，即包含字串’ABCD;’，否则不包含。你需要将your_table替换为你实际使用的表名或子查询。

    方案2:instr

    使用instr(str, substr)函数来实现，使用类似下面的代码：

    SELECT
      CASE
        WHEN instr(subject, 'ABCD;') > 0 THEN '包含'
        ELSE '不包含'
      END AS is_contain
    FROM
      your_table;
    

    subject是要判断的字符串，'ABCD;'是要匹配的字串。instr(str, substr)函数返回字串substr在str中第一次出现的位置，如果找不到则返回0。通过判断返回的位置是否大于0来判断是否包含指定字串。

    方案3:locate

    使用locate(substr, str)函数。该函数会返回匹配到的子串的位置，如果未找到则返回0。相比于instr函数，locate函数更快。

    你可以使用如下代码来实现：

    SELECT
      CASE
        WHEN locate('ABCD;', subject) > 0 THEN '包含'
        ELSE '不包含'
      END AS is_contain
    FROM
      your_table;
    

    在这里，subject是要检查的字符串，'ABCD;'是要匹配的字串。通过判断locate函数返回的位置是否大于0，即可判断字符串中是否包含了指定的字串。

    方案4:like

    使用like运算符来判断字符串中是否包含特定的字串。这种方式比使用函数更高效。你可以使用以下代码来实现：

    SELECT
      CASE
        WHEN subject LIKE '%ABCD;%' THEN '包含'
        ELSE '不包含'
      END AS is_contain
    FROM
      your_table;
    

    在这里，subject是要判断的字符串，'%ABCD;%'是要匹配的字串模式。%是通配符，表示可以匹配任意字符。如果字符串中存在字串"ABCD;"，那么LIKE运算符会返回true，否则返回false。

    方案5: rlike

    使用正则表达式的RLIKE操作符。这个操作符可以直接在正则表达式中进行匹配，而无需使用额外的函数调用。以下是如何使用RLIKE操作符进行判断的示例代码：

    SELECT
      CASE
        WHEN subject RLIKE '.*ABCD;.*' THEN '包含'
        ELSE '不包含'
      END AS is_contain
    FROM
      your_table;
    

    在这里，subject是待判断的字符串，'.ABCD;.'是匹配的正则表达式。.*表示匹配任意字符的零或多次重复。如果字符串中存在字串"ABCD;"，RLIKE操作符将返回true，否则返回false。

    方案6:strpos

    使用Hive的内置函数strpos(s, substr)，它返回子串在原始字符串中第一次出现的位置，如果找不到则返回0。相比较前面提到的方法，使用strpos函数可以更高效地判断字符串中是否包含特定字串。以下是使用strpos函数判断字符串是否包含字串的示例代码：

    SELECT
      CASE
        WHEN strpos(subject, 'ABCD;') > 0 THEN '包含'
        ELSE '不包含'
      END AS is_contain
    FROM
      your_table;
    

    在上述代码中，subject是要检查的字符串，'ABCD;'是要匹配的字串。通过判断strpos函数返回的位置是否大于0，就可以确定字符串是否包含指定的字串。

    计算效率对比

    在计算效率方面，使用LIKE运算符进行字符串匹配是最高效的方式。LIKE运算符可以直接在字符串中进行模式匹配，不需要额外的函数调用或正则表达式解析过程，因此性能相对较高。

    相比之下，使用正则表达式的RLIKE操作符需要对正则表达式进行解析和匹配，所以性能略低于直接使用LIKE运算符。

    而使用strpos、instr和locate等函数进行字符串匹配，内部实现可能会涉及字符串扫描和模式匹配等操作，所以性能相对较低。

    综上所述，从计算效率角度上来说，使用LIKE运算符是最高效的方式。在处理大量数据时，使用LIKE运算符可以获得更好的性能。

    从计算效率的角度，按照效率高到效率低的顺序，可以将上面提到的6种方式，按照计算效率高到计算效率低进行排序：

    1. LIKE运算符：直接使用LIKE运算符进行字符串匹配，是性能最高的方式之一。
    2. RLIKE操作符：使用正则表达式的RLIKE操作符进行匹配，在某些情况下可以比较高效。
    3. strpos函数：使用Hive的内置函数strpos进行字符串匹配。
    4. instr函数：使用instr函数来匹配字符串中的子串。
    5. locate函数：使用locate函数来匹配字符串中的子串。
    6. regexp_extract函数：使用regexp_extract函数通过正则表达式来提取匹配结果。