hive對(duì)于敏感數(shù)據(jù)的加密還不夠完善，現(xiàn)在開發(fā)一個(gè)udf函數(shù)，自己設(shè)置密鑰（hive的加密函數(shù)等級(jí)比較低，也沒(méi)有集成自己加密的密鑰函數(shù)，所以自己開發(fā)一個(gè)），如果要加密一些數(shù)據(jù)則可以自己使用特定的密鑰進(jìn)行加密解密，這樣很好的方便數(shù)據(jù)的加密下面將實(shí)現(xiàn)過(guò)程如下：
1，寫一個(gè)Java類專門進(jìn)行加密算法，這個(gè)代碼網(wǎng)上很多都寫好了，可以直接抄一個(gè)過(guò)來(lái)，代碼如下：
package hive_udf;
import sun.misc.BASE64Decoder;
import sun.misc.BASE64Encoder;
import javax.crypto.*;
import javax.crypto.spec.SecretKeySpec;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
import java.security.SecureRandom;
import java.util.Scanner;
/*
* AES對(duì)稱加密和解密
*/
public class AES {
public static final String ENCODE_RULES = "8DFC34B0B7C98EFA0A299A6C3FFFBD9D";
/*
* 加密
* 1.構(gòu)造密鑰生成器
* 2.根據(jù)ecnodeRules規(guī)則初始化密鑰生成器
* 3.產(chǎn)生密鑰
* 4.創(chuàng)建和初始化密碼器
* 5.內(nèi)容加密
* 6.返回字符串
*/
public static String AESEncode(String encodeRules,String content){
try {
//1.構(gòu)造密鑰生成器，指定為AES算法,不區(qū)分大小寫
KeyGenerator keygen=KeyGenerator.getInstance("AES");
//2.根據(jù)ecnodeRules規(guī)則初始化密鑰生成器
//生成一個(gè)128位的隨機(jī)源,根據(jù)傳入的字節(jié)數(shù)組
SecureRandom random = SecureRandom.getInstance("SHA1PRNG");
random.setSeed(encodeRules.getBytes());
keygen.init(128, random); //3.產(chǎn)生原始對(duì)稱密鑰
SecretKey original_key=keygen.generateKey();
//4.獲得原始對(duì)稱密鑰的字節(jié)數(shù)組
byte [] raw=original_key.getEncoded();
//5.根據(jù)字節(jié)數(shù)組生成AES密鑰
SecretKey key=new SecretKeySpec(raw, "AES");
//6.根據(jù)指定算法AES自成密碼器
Cipher cipher=Cipher.getInstance("AES");
//7.初始化密碼器，第一個(gè)參數(shù)為加密(Encrypt_mode)或者解密解密(Decrypt_mode)操作，第二個(gè)參數(shù)為使用的KEY
cipher.init(Cipher.ENCRYPT_MODE, key);
//8.獲取加密內(nèi)容的字節(jié)數(shù)組(這里要設(shè)置為utf-8)不然內(nèi)容中如果有中文和英文混合中文就會(huì)解密為亂碼
byte [] byte_encode=content.getBytes(StandardCharsets.UTF_8);
//9.根據(jù)密碼器的初始化方式--加密：將數(shù)據(jù)加密
byte [] byte_AES=cipher.doFinal(byte_encode);
//10.將加密后的數(shù)據(jù)轉(zhuǎn)換為字符串
//這里用Base64Encoder中會(huì)找不到包
//解決辦法：
//在項(xiàng)目的Build path中先移除JRE System Library，再添加庫(kù)JRE System Library，重新編譯后就一切正常了。
//11.將字符串返回
return new BASE64Encoder().encode(byte_AES);
} catch (NoSuchAlgorithmException | NoSuchPaddingException | InvalidKeyException | IllegalBlockSizeException | BadPaddingException e) {
e.printStackTrace();
}
//如果有錯(cuò)就返加nulll
return null;
}
/*
* 解密
* 解密過(guò)程：
* 1.同加密1-4步
* 2.將加密后的字符串反紡成byte[]數(shù)組
* 3.將加密內(nèi)容解密
*/
public static String AESDncode(String encodeRules,String content){
try {
//1.構(gòu)造密鑰生成器，指定為AES算法,不區(qū)分大小寫
KeyGenerator keygen=KeyGenerator.getInstance("AES");
//2.根據(jù)ecnodeRules規(guī)則初始化密鑰生成器
//生成一個(gè)128位的隨機(jī)源,根據(jù)傳入的字節(jié)數(shù)組
SecureRandom random = SecureRandom.getInstance("SHA1PRNG");
random.setSeed(encodeRules.getBytes());
keygen.init(128, random);
//3.產(chǎn)生原始對(duì)稱密鑰
SecretKey original_key=keygen.generateKey();
//4.獲得原始對(duì)稱密鑰的字節(jié)數(shù)組
byte [] raw=original_key.getEncoded();
//5.根據(jù)字節(jié)數(shù)組生成AES密鑰
SecretKey key=new SecretKeySpec(raw, "AES");
//6.根據(jù)指定算法AES自成密碼器
Cipher cipher=Cipher.getInstance("AES");
//7.初始化密碼器，第一個(gè)參數(shù)為加密(Encrypt_mode)或者解密(Decrypt_mode)操作，第二個(gè)參數(shù)為使用的KEY
cipher.init(Cipher.DECRYPT_MODE, key);
//8.將加密并編碼后的內(nèi)容解碼成字節(jié)數(shù)組
byte [] byte_content= new BASE64Decoder().decodeBuffer(content);
/*
* 解密
*/
byte [] byte_decode=cipher.doFinal(byte_content);
return new String(byte_decode, StandardCharsets.UTF_8);
} catch (NoSuchAlgorithmException | NoSuchPaddingException | InvalidKeyException | IOException | IllegalBlockSizeException | BadPaddingException e) {
e.printStackTrace();
}
//如果有錯(cuò)就返加nulll
return null;
}
public static void main(String[] args) {
Scanner scanner=new Scanner(System.in);
/*
* 加密
*/
System.out.println("使用AES對(duì)稱加密，請(qǐng)輸入加密的規(guī)則");
String encodeRules=scanner.next();
System.out.println("請(qǐng)輸入要加密的內(nèi)容:");
String content = scanner.next();
System.out.println("根據(jù)輸入的規(guī)則"+encodeRules+"加密后的密文是:"+ AESEncode(encodeRules, content));
/*
* 解密
*/
System.out.println("使用AES對(duì)稱解密，請(qǐng)輸入加密的規(guī)則：(須與加密相同)");
encodeRules=scanner.next();
System.out.println("請(qǐng)輸入要解密的內(nèi)容（密文）:");
content = scanner.next();
System.out.println("根據(jù)輸入的規(guī)則"+encodeRules+"解密后的明文是:"+ AESDncode(encodeRules, content));
}
}2，寫一個(gè)hive的udf類，集成hiveUdf,代碼實(shí)現(xiàn)如下：
package hive_udf;
import org.apache.hadoop.hive.ql.exec.UDF;
public class AesUdf extends UDF {
//String password = "8DFC34B0B7C98EFA0A299A6C3FFFBD9D";
public String evaluate ( String content,String password ,String type) throws Exception {
// if (content == null) return null;
//
// if(! type.equals("encode") && ! type.equals("decode")){
// throw new Exception("Parmeter one is needed encode/decode");
// }
if(!content.equals(null) & type.equals("jiami")){
//進(jìn)行加密
return AES.AESEncode (password, content);
}
else{
if(!content.equals(null) & type.equals("jiemi")){
//進(jìn)行解密
return AES.AESDncode(password, content);
}
return content;
}
}
public static void main(String[] args) {
try {
// System.out.println("開始加密");
// System.out.println("沒(méi)加密前原始數(shù)據(jù)為 test");
System.out.println(new AesUdf().evaluate("test","1234abcd","jiami"));
// System.out.println("加密后為"+new AesUdf().evaluate("test","1234abcd","jiami"));
// String result = new AesUdf().evaluate("test","1234abcd","jiami");
// System.out.println("不加密也不解密，數(shù)據(jù)為"+new AesUdf().evaluate("test","1234abcd","jiami1"));
// System.out.println("開始解密");
System.out.println(new AesUdf().evaluate("result","1234abcd","jiemi"));
// System.out.println("解密后的值為"+new AesUdf().evaluate(result,"1234abcd","jiemi"));
} catch (Exception e) {
e.printStackTrace();
}
}
}
上面代碼可以自己手動(dòng)設(shè)定密鑰，自己記住就行，后面可以直接加密解密，一般不同的數(shù)據(jù)都有自己的密鑰，不能共用一個(gè)密鑰
3，將代碼打成jar包，以及依賴關(guān)系如下
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.example</groupId>
<artifactId>hive</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<!-- hive的udf依賴的包 -->
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>3.1.2</version>
</dependency>
</dependencies>
<!-- 打包類的依賴的jar的插件 -->
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>3.0.0</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>4，將打成的jar包上傳到hdfs上，過(guò)程如下：
#一定記得，不然創(chuàng)建函數(shù)的時(shí)候會(huì)報(bào)警Class com.zmlearn.udf.AESUDF not found，因?yàn)闆](méi)有執(zhí)行權(quán)限
chmod 777 hive-1.0-SNAPSHOT.jar
hadoop fs -mkdir /hive_UDF
hadoop fs -put /root/data/hive-1.0-SNAPSHOT.jar /hive_UDF
5.進(jìn)入hive客戶端，創(chuàng)建UDF函數(shù)。
create function test.AES_UDF as 'hive_udf.AesUdf' using jar 'hdfs://namenode:9000/hive_UDF/hive-1.0-SNAPSHOT.jar';
加上庫(kù)名是為了在哪個(gè)庫(kù)下面生效，如果不加的話默認(rèn)是default庫(kù)
6.使用創(chuàng)建的UDF函數(shù)：
select AES_UDF(a.name,'1234abcd','jiami') as jiam,AES_UDF(AES_UDF(a.name,'1234abcd','jiami'),'1234abcd','jiemi') as jiem,name,id from student a;文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-712465.html
以上就是hive實(shí)現(xiàn)加密解密的udf函數(shù)的設(shè)計(jì)，目前我使用沒(méi)問(wèn)題，加密解密數(shù)據(jù)都正常，如果大家使用我上面的函數(shù)有問(wèn)題，歡迎大家來(lái)找我私聊文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-712465.html
到了這里，關(guān)于hive的自定義函數(shù)以及自定義加密函數(shù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
