云原生大数据计算服务 MaxCompute：转义字符

SQL（MaxCompute）

在SQL语法中，字符串的内容需要写在半角单引号（''）或者双引号（""）中，例如"abc"、'123'。对于一些字符串中本身就有单引号或者双引号的情况，如果只包括一种引号，则可以简单使用另一种引号，例如 '双引号(")'。但是如果一段文字中既包括半角单引号又包括半角双引号，例如如下语句：

双引号(")
单引号(')

不仅包含了''和""，还包含了换行符，对于这种，规定使用平时较少用到的反斜线（\）作为特殊字符，表示和后面的字符共同表示一个字符，例如\n表示换行，\"、\'表示字符串中的引号，并不代表字符串结束，则上面的内容可以写成一个字符串：'双引号(")\n单引号(\')' 或者 "双引号(\")\n单引号(')"。

但是这样反斜线又有了特殊的含义，对于字符串中的反斜线，就要写成\\，第一个表示转义，第二个表示真正的字符。SQL中常见的转义字符写法如下：

正则表达式

正则表达式除了对一般的不可见字符使用\，为了做一些文本匹配，声明了模式，而这些模式中大量使用了()^%等符号，例如MaxCompute的底层正则引擎使用了RE2，RE2详情请参见RE2，一些使用\的转义写法如下：

完整的正则语法非常复杂，您可以使用regexr和regex101在线工具写出符合预期的正则表达式。

JSON

JSON是一种常用的传输数据的文本协议，标准比较简单，完整的标准请参见JSON，使用\的转义写法如下：

可以看到JSON许多转义字符的设计和SQL非常相似，您可以使用JSON在线工具JSONLint验证一段文本是否符合JSON规范。

转义字符后字符解释为其本身

• MaxCompute SQL中的字符串常量可以用单引号或双引号表示。您可以在单引号括起的字符串中包含双引号，或在双引号括起的字符串中包含单引号，否则要用转义字符来表达。表达方式如下：

  "I'm a happy manong."
  'I\'m a happy manong.'

• 在LIKE字符匹配中，要匹配%或_本身，则要对其进行转义：

  select 'ab_cde' like 'ab\_c%';
  
  --返回结果
  true

特殊字符

• 'a\tb'字符串里有三个字符，\t被视为一个字符。

  select length('a\tb');
  
  --返回结果
  3

• 'a\ab'字符串里有三个字符，\a被解释为普通的a。

  select 'a\ab',length('a\ab');
  
  --返回结果
  aab,3

JSON+SQL转义

有一段JSON：{"key":"this is very \"important\"."}，想要使用get_json_object函数提取Value值，却得不到正确的结果：

-- 使用新版本的get_json_object，会检查json的完整性
set odps.sql.udf.getjsonobj.new=true;
select get_json_object('{"key":"this is very \"important\"."}', '$.key');

--返回结果
NULL

原因出现在这段JSON文本只是简单地在两侧加了半角单引号，里面的内容并没有经过SQL的转义，直接select文本验证此结论：

select '{"key":"this is very \"important\"."}'; 

--返回结果
{"key":"this is very "important"."}

可以看到反斜线消失了，原因是编译器解析的时候把JSON中的转义字符当做了SQL的转义字符，\" 被解释成了 "，导致得到的结果并不符合JSON语法，从而无法解析。对JSON文本加上正确的SQL转义字符：'{"key":"this is very \\"important\\"."}'，再次使用get_json_object函数提取Value值，得到正确的结果：

set odps.sql.udf.getjsonobj.new=true;
select get_json_object('{"key":"this is very \\"important\\"."}', '$.key');

--返回结果
this is very "important".

简单文本+正则表达式+SQL转义

有一段文字：010-12345678，使用函数提取出最前面的010步骤如下：

1. 写出正则表达式(\d+)-。

2. 根据SQL的转义规则，对其中的\进行转义，同时在两边添加单引号，可以得到字符串'(\\d+)-'。

在MaxCompute中执行如下命令进行验证：

select REGEXP_EXTRACT('010-12345678', '(\\d+)-');

--返回结果
010

JSON+正则表达式+SQL转义

如果字符串本身就含有转义字符，例如{"key":"this is very \"important\"."}这段JSON，使用正则表达式匹配出其中的important步骤如下：

1. 写出正则表达式：\"(.*)\"。

2. 对其中的反斜线进行正则表达式的转义：\\"(.*)\\"。

3. 再对表达式进行SQL的转义，将所有的\替换成\\，为了简便，两边再添加单引号，得到字符串：'\\\\"(.*)\\\\"'。

在MaxCompute中执行如下命令进行验证：

select REGEXP_EXTRACT('{"key":"this is very \\"important\\"."}', '\\\\"(.*)\\\\"');

--返回结果
important

结果符合预期，类似此场景建议先对JSON进行解析，逻辑会更清晰，命令如下：

set odps.sql.udf.getjsonobj.new=true;
select REGEXP_EXTRACT(get_json_object('{"key":"this is very \\"important\\"."}', '$.key'), '"(.*)"');

--返回结果
important