#!/bin/bash
# ftp_getTodayFiles.sh
# ip2 執(zhí)行
# 調(diào)用方式 sh ftp_getTodayFiles.sh 20240201

# 定義函數(shù)，獲取文件名稱
function funcGetTodayFilesName(){
dateNo=$1
PORT=22
HOST="ip1"  
USERNAME="uname1"
PASSWORD="123456"  
LOCALDIR="/date/localPath/SBXDS_ACC_M"
SFTPDIR="/ftpdata/preciseUpload"
FILENAME="SBXDS_ACC_M_*_$dateNo*"
cd $LOCALDIR
/usr/bin/expect << EOF
spawn sftp -P $PORT $USERNAME@$HOST
expect "*Password*"
send "$PASSWORD\r"
expect "*#"
send "cd $SFTPDIR\r"
expect "*#"
send "ls -1 $FILENAME\r"
expect eof
EOF
}

# 定義函數(shù)，sftp獲取文件
function funcSftpGetFile(){
FILENAME=$1
PORT=22
HOST="ip1"  
USERNAME="uname1"
PASSWORD="123456"  
LOCALDIR="/date/localPath/SBXDS_ACC_M"
SFTPDIR="/ftpdata/preciseUpload"
cd $LOCALDIR
/usr/bin/expect << EOF
spawn sftp -P $PORT $USERNAME@$HOST
expect "*Password*"
send "$PASSWORD\r"
expect "*#"
send "cd $SFTPDIR\r"
expect "*#"
send "get $FILENAME \r"
expect eof
EOF
}

# 調(diào)用函數(shù)，獲取文件名稱

dateNo=$1
LOCALDIR="/date/localPath/SBXDS_ACC_M"
cd $LOCALDIR
echo "開始獲取sftp目錄下當天文件名稱SBXDS_ACC_M_*_$dateNo*......"
funcGetTodayFilesName $dateNo|grep ".csv" > SBXDS_ACC_M_FILES.txt
echo "獲取sftp目錄下當天文件名稱結(jié)束"

dayfiles=$(cat SBXDS_ACC_M_FILES.txt|wc -l)
if [ $dayfiles -eq 0 ]; then
  echo "sftp今日無文件。"
  exit
else
  echo "當日所有文件："
  cat SBXDS_ACC_M_FILES.txt
fi


echo "清空文件 SBXDS_ACC_M_NEWFILES.txt"
echo "判斷本地是否存在文件，不存在則將文件名寫入文件SBXDS_ACC_M_NEWFILES.txt"
> SBXDS_ACC_M_NEWFILES.txt
for filename in $(cat SBXDS_ACC_M_FILES.txt|sed 's/\r$//')
do
    if [ -e $filename ];    then
      echo "$filename 已存在"
  else
      echo "$filename 新文件"
      echo $filename >> SBXDS_ACC_M_NEWFILES.txt
  fi
done

newfiles=$(cat SBXDS_ACC_M_NEWFILES.txt|wc -l)
if [ $newfiles -eq 0 ]; then
  echo "無新增文件。"
  exit
else
  echo "文件名寫入SBXDS_ACC_M_NEWFILES.txt結(jié)束"
  echo "當日新增文件$newfiles個："
  cat SBXDS_ACC_M_NEWFILES.txt
fi

# 調(diào)用函數(shù)，sftp獲取文件
echo "開始下載文件...."
LOCALDIR="/date/localPath/SBXDS_ACC_M"
cd $LOCALDIR
for filename in $(cat SBXDS_ACC_M_NEWFILES.txt|sed 's/\r$//')
do 
    echo "下載$filename..."
    funcSftpGetFile $filename
done

echo "下載文件結(jié)束,文件名如下："
cat SBXDS_ACC_M_NEWFILES.txt

# 驗證 SBXDS_ACC_M_NEWFILES.txt
newfiles2=$(cat SBXDS_ACC_M_NEWFILES.txt|wc -l)
if [ $newfiles2 -eq 0 ]; then
  echo "文件異常?。?！"
  exit 1
fi

#!/bin/bash
# ftp_getTxq_users.sh
# ip1 執(zhí)行
# 把SBXDS_ACC_M_NEWFILE.txt里面的文件寫入hive表 dods_ftp_target_users partition(task_id)。
# 匹配通信圈用戶 dapp_ftp_txq_users
# 結(jié)果數(shù)據(jù)導(dǎo)入文件WTF_YBZ_DSGS_task_id
# 調(diào)用格式： sh ftp_getTxq_users.sh 20240114

dateNo=$1
LOCALDIR="/date/localPath/SBXDS_ACC_M"
cd $LOCALDIR

newfiles=$(cat SBXDS_ACC_M_NEWFILES.txt|wc -l)
if [ $newfiles -eq 0 ]; then
  echo "無新增文件。"
  exit
fi


fileList=()
for filename in $(cat SBXDS_ACC_M_NEWFILES.txt|sed 's/\r$//')
    do
    task_id=$(echo $filename|cut -d'_' -f4)
    echo "文件名: $filename,任務(wù)ID: $task_id"
    echo "執(zhí)行命令:hadoop fs -mkdir hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id"
    hadoop fs -mkdir hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id
    if [ $? -eq 0 ]; then
      echo "執(zhí)行命令:hadoop fs -put -f $filename hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id"
        hadoop fs -put -f $filename hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id
  else
      echo "分區(qū) $task_id 已存在。"
      echo "執(zhí)行命令:hadoop fs -put -f $filename hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id"
        hadoop fs -put -f $filename hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id
  fi
    
  # 匹配通信圈用戶
  hive -e"
  MSCK REPAIR TABLE dods_ftp_target_users;
  insert overwrite table dapp_ftp_txq_users partition(task_id='${task_id}')
  select a.phone_no,
         b.msg_info
  from   dods_ftp_target_users a,
         dods_msg_info b
  where  a.phone_no=b.phone_no
  and    a.task_id='${task_id}'
  and    b.deal_day='${dateNo}'
  group  by a.phone_no,
         b.msg_info
  "
  # 結(jié)果數(shù)據(jù)導(dǎo)入文件
  hive -e"
    select concat_ws(',',phone_no,msg_info) 
    from dapp_ftp_txq_users 
    where task_id = '${task_id}' 
  " > WTF_YBZ_DSGS_${task_id}
  
  # 文件記錄數(shù)
  file_rows=$(cat WTF_YBZ_DSGS_${task_id}|wc -l)
  msgs="源文件$filename的結(jié)果文件WTF_YBZ_DSGS_${task_id}，記錄數(shù)$file_rows。"
  fileList+=$msgs
  done

echo "************************* 執(zhí)行成功 *************************"
for msg in ${fileList[*]}
do
    echo $msg
done

#!/bin/bash
# ftp_sftpPutFiles.sh
# ip2 執(zhí)行
# 調(diào)用格式 sh ftp_sftpPutFiles.sh


# 定義函數(shù)，sftp上傳文件
function sftpPutFiles(){
FILENAME=$1
PORT=22
HOST="ip1"  
USERNAME="uname1"
PASSWORD="123456"  
LOCALDIR="/date/localPath/SBXDS_ACC_M"
SFTPDIR="/ftpdata/orderringlist"
cd $LOCALDIR
/usr/bin/expect << EOF
spawn sftp -P $PORT $USERNAME@$HOST
expect "*Password*"
send "$PASSWORD\r"
expect "*#"
send "cd $SFTPDIR\r"
expect "*#"
send "put $FILENAME \r"
expect "*#"
send "rename $FILENAME ${FILENAME}.csv \r"
expect eof
EOF
}

# 調(diào)用函數(shù)，sftp上傳文件
LOCALDIR="/date/localPath/SBXDS_ACC_M"
cd $LOCALDIR
newfiles=$(cat SBXDS_ACC_M_NEWFILES.txt|wc -l)
if [ $newfiles -eq 0 ]; then
  echo "無新增文件。"
  exit
fi

echo "開始sftp上傳文件...."
for filename in $(cat SBXDS_ACC_M_NEWFILES.txt|sed 's/\r$//')
    do
    task_id=$(echo $filename|cut -d'_' -f4)
    echo "上傳WTF_YBZ_DSGS_${task_id}..."
    sftpPutFiles WTF_YBZ_DSGS_${task_id}
    done
echo "*************** sftp上傳文件結(jié)束 ***************"