整理了spark-sql處理json字符串的幾個函數：
1?get_json_object 解析不含數組的 json
?
2 from_json? 解析json
3 schema_of_json?提供生成json格式的方法
4 explode? ?把JSONArray轉為多行
get_json_object
get_json_object(string json_string, string path) ：適合最外層為{}的json解析。
?第一個參數是json對象變量，也就是含json的字段 。第二個參數使用?
$?作為json變量標識 定位數據位置,按jsonpath的規(guī)則
簡單的例子：
select get_json_object('{"drink":"Tea","fruit":"Apple"}', '$.drink') as text| text |
|---|
| Tea |
from_json
from_json(column, schema_string)：用schema_string的格式，來解析column。
用schema_string的格式可以用schema_of_json獲取。
簡單例子：
select from_json('[{"text":"Tea"},{"text":"Apple"}]', 'ARRAY<STRUCT<text: STRING>>');| jsontostructs([{"text":"Tea"},{"text":"Apple"}]) |
|---|
| [{"text":"Tea"},{"text":"Apple"}] |
進階例子：
select from_json('[{"text":"Tea"},{"text":"Apple"}]', 'ARRAY<STRUCT<text: STRING>>')[0]['text'] as q;| q |
|---|
| tea |
schema_of_json
schema_of_json(s)：解析字符串s，返回描述json格式的字符串。
字典：STRUCT，字典里是一些Key-Value鍵值對。
列表：ARRAY，列表里是一些相同的元素。
例子1? array：
select schema_of_json('[{"text":"a"},{"b":"a"}, {"c":1}]')
結果：
ARRAY<STRUCT<`b`: STRING, `c`: BIGINT, `text`: STRING>>
例子2? 復雜的json：
select schema_of_json('{"vid":391420754,"aid":9701587,"isreply":"0","ispic":"0","fromPage":"2","site":"2","isreplysp":"2","isat":"0","isemoji":"0","loc":"1","page":"1","track_info":""}')
結果：
struct<aid:bigint,fromPage:string,isat:string,isemoji:string,ispic:string,isreply:string,isreplysp:string,loc:string,page:string,site:string,track_info:null,vid:bigint>
例子3? 混合：
select schema_of_json('{"text":["a", 2, "b", "a"],"b":1.2, "c":1}')
結果：
STRUCT<`b`: DOUBLE, `c`: BIGINT, `text`: ARRAY<STRING>>
對于復雜的字符串，如果python json.loads報錯，schema_of_json可能報錯。
批注 1：
語句里有什么，就會返回什么。但一般用json形式的字段，都是擴展字段，里面的屬性個數不是固定的。我們可以從生成的結果里面篩選一下，只取我們需要的字段。比如上面的例子2里的，就只?。?
struct<aid:bigint>
select from_json('{"vid":391420754,"aid":9701587,"page":"1"}' , 'struct<aid:bigint>')
結果：
{"aid":9701587}
批注 2：
如果我們不需要key的話，就直接帶上key
select from_json('{"vid":391420754,"aid":9701587,"page":"1"}' , 'struct<aid:bigint>')['aid']
結果：
aid
9701587explode
explode(from_json(...))：將from_json的內容展成多行（應用于ARRAY，每個元素1行）
例子：
select explode(from_json('[{"text":"Tea"},{"text":"Apple"}]', 'ARRAY<STRUCT<text: STRING>>')) as q;
q
----
{"text":"Tea"}
{"text":"Apple"}SELECT r1.col.Attr_INT, r1.col.ATTR_DATE, r1.col.ATTR_DOUBLE FROM (SELECT explode(r.json) AS col FROM (SELECT from_json('[{"Attr_INT":1, "ATTR_DOUBLE":10.201, "ATTR_DATE": "2021-01-01"},{"Attr_INT":1, "ATTR_DOUBLE":10.201, "ATTR_DATE": "2021-02-01"}]','array<struct<ATTR_DATE:string,ATTR_DOUBLE:double,Attr_INT:bigint>>') AS json) r) AS r1;
Attr_INT ATTR_DATE ATTR_DOUBLE
1 2021-01-01 10.201
1 2021-02-01 10.201select q.text from (select explode(from_json('[{"text":"Tea"},{"text":"Apple"}]', 'ARRAY<STRUCT<text: STRING>>')) as q);
text
----
Tea
Apple參考文章來源：http://www.zghlxwxcb.cn/news/detail-405037.html
spark-sql處理json字符串的函數 - 知乎文章來源地址http://www.zghlxwxcb.cn/news/detail-405037.html
到了這里，關于spark-sql處理json字符串的常用函數的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！
