国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

保姆級爬蟲無水印視頻大全 最新版java+selenium

這篇具有很好參考價值的文章主要介紹了保姆級爬蟲無水印視頻大全 最新版java+selenium。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

適用抖音、快手視頻和標題獲取

1、前言

本篇介紹從電腦如何安裝多版本Chrome到Java結(jié)合selenium爬蟲實現(xiàn)網(wǎng)頁、API數(shù)據(jù)獲取技術(shù),抖音和快手也會不定期會更新請求方式,注意版本適配。適用win10,win11,有需要的小伙伴可以繼續(xù)往下看。

2、環(huán)境配置

2.1、瀏覽器環(huán)境

瀏覽器安裝參考鏈接:點擊鏈接
首先電腦任意盤創(chuàng)建文件夾(根據(jù)自己喜好命名),暫且命名為old_chrome,在網(wǎng)上下載主啟動GoogleChromePortable.exe文件放置到old_chrome文件下
GoogleChromePortable.exe下載地址:點擊鏈接
保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium
通過360壓縮或其他壓縮軟件右擊打開,不是解壓,是右擊選擇360壓縮軟件打開,把GoogleChromePortable.exe拖出來(如上圖所示)
保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium
在old_chrome下創(chuàng)建一個新的文件夾,為了方便查看,我使用的114版本,文件命名為old_chrome114,在網(wǎng)上下載對應Chrome版本的離線安裝包(一般文件大小>50MB為離線安裝包),后綴為.exe的文件,放到old_chrome114文件下。
如果找不到離線安裝包,可參考Chrome 的107以前版本下載地址:點擊鏈接
然后查看安裝包按照下圖所示步驟,右擊點擊屬性,點擊數(shù)字前面,雙擊下面簽名者名稱,查看數(shù)字簽名信息是否正常,此處必須數(shù)字簽名正常的情況才可以進行后續(xù)操作。
保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium
然后用同樣的方法,右擊選擇360壓縮軟件打開看到chrome.7z。保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium
新建文件夾APP,把chrome.7z文件拖拽到APP文件下進行解壓,得到Chrome-bin文件。chrome.7z壓縮包就可以刪除了
保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium
把開始下載好的GoogleChromePortable.exe文件復制到old_chrome114文件下,我這里名字改加了版本號改成了GoogleChromePortable114.exe。
保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium
然后雙擊GoogleChromePortable114.exe就可以啟動114版本的瀏覽器了,啟動之后會在當前文件夾里面創(chuàng)建一個Data文件夾存放數(shù)據(jù)。之后可以在瀏覽器里面查看關(guān)于Chrome,查看版本,下圖我兩個不同谷歌瀏覽器的運行展示。也可以右擊GoogleChromePortable114.exe點擊發(fā)送到——桌面快捷方式,即可在桌面創(chuàng)建快捷訪問,如果想安裝多個版本的瀏覽器可以按照這種操作逐個添加。

保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium

2.2、瀏覽器驅(qū)動

百度下載對應的Chrome驅(qū)動chromedriver,放到對應版本的文件下,然后進行解壓,拿到chromedriver.exe,記住這個路徑。
保姆級爬蟲無水印視頻大全 最新版java+selenium,爬蟲,java,selenium

2.3、開發(fā)環(huán)境

開發(fā)使用的jdk1.8,搭建的spring項目
爬蟲使用依賴4.10版本

		<!--爬蟲-->
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-java</artifactId>
			<version>4.10.0</version>
		</dependency>

		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-chromium-driver</artifactId>
			<version>4.10.0</version>
		</dependency>

		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-devtools-v114</artifactId>
			<version>4.10.0</version>
		</dependency>

3、抖音爬蟲獲取

因為抖音改版后不能直接通過API獲取視頻鏈接和標題,視頻鏈接可以通過API獲取,標題需要通過請求前端html,通過截取獲得。

3.1、視頻獲取

package cn.executor;

import cn.hutool.http.HttpUtil;
import cn.perfectlinks.node.properties.RemoveWatermarkProperties;
import cn.perfectlinks.node.utils.RemoveWatermarkConstant;
import cn.perfectlinks.node.vo.VideoRemoveWatermarkVo;
import cn.perfectlinks.node.vo.VideoUrlVo;

import com.alibaba.fastjson2.JSONObject;
import lombok.RequiredArgsConstructor;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.devtools.DevTools;
import org.openqa.selenium.devtools.v114.network.Network;
import org.openqa.selenium.devtools.v114.network.model.Request;
import org.springframework.stereotype.Component;

import java.io.IOException;
import java.util.Objects;
import java.util.Optional;
import java.util.concurrent.TimeUnit;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

@Component
@Slf4j
@RequiredArgsConstructor
public class DYVideo{
    private final RemoveWatermarkProperties removeWatermarkProperties;

    @SneakyThrows
    public VideoRemoveWatermarkVo executor(String oldVideoUrl) throws IOException {
        log.info("請求參數(shù):"+ oldVideoUrl);
        VideoRemoveWatermarkVo videoRemoveWatermarkVo = new VideoRemoveWatermarkVo();
        // 拿到分享鏈接中的視頻地址
        String filterUrl = this.filterUrl(oldVideoUrl);
        // 視頻解析
      if (oldVideoUrl.contains(RemoveWatermarkConstant.D_Y_COM)) {
            // dou_yin由于有真人驗證問題需要多掉幾次接口
            Integer n = RemoveWatermarkConstant.ZERO;
            do {
                n++;
//                videoRemoveWatermarkVo = this.douYinParseUrl(filterUrl);
                VideoUrlVo videoUrlVo =  this.getTrueAddress(filterUrl, RemoveWatermarkConstant.D_Y_TYPE);
                //去水印
                videoRemoveWatermarkVo.setUrl(videoUrlVo.getResponseVideoUrl().replaceAll(RemoveWatermarkConstant.PLAY_WM, RemoveWatermarkConstant.PLAY));
                
            } while (
                    StringUtils.isBlank(videoRemoveWatermarkVo.getUrl())
                            && n <= RemoveWatermarkConstant.FIVE
            );
        } else {
            throw new Exception(RemoveWatermarkConstant.ONLY_SUPPORT_ERR);
        }
        if (videoRemoveWatermarkVo.getUrl() == null){
            throw new Exception(RemoveWatermarkConstant.SHARING_FAILURE);
        }

        return videoRemoveWatermarkVo;
    }


    /**
     * 方法描述: 抖音視頻去水印
     */
    private VideoRemoveWatermarkVo douYinParseUrl(String url) {
        VideoRemoveWatermarkVo videoRemoveWatermarkVo = new VideoRemoveWatermarkVo();
        try {
            VideoUrlVo trueAddress = this.getTrueAddress(url, RemoveWatermarkConstant.D_Y_TYPE);
            log.info(RemoveWatermarkConstant.D_Y_DATA, trueAddress);
            if (StringUtils.isBlank(trueAddress.getResponseVideoUrl())) return videoRemoveWatermarkVo;
            // 調(diào)抖音接口獲取視頻數(shù)據(jù)
            String jsonStr = HttpUtil.get(trueAddress.getResponseVideoUrl());
            log.info(RemoveWatermarkConstant.D_Y_API_DATA, jsonStr);
            if (StringUtils.isBlank(jsonStr)) return videoRemoveWatermarkVo;
            JSONObject obj = JSONObject.parseObject(jsonStr);
            // 獲取當前的視頻的真實url
            String videoAddress = obj.getJSONArray(RemoveWatermarkConstant.ITEM_LIST)
                    .getJSONObject(RemoveWatermarkConstant.ZERO)
                    .getJSONObject(RemoveWatermarkConstant.VIDEO)
                    .getJSONObject(RemoveWatermarkConstant.PLAY_ADDR)
                    .getJSONArray(RemoveWatermarkConstant.URL_LIST)
                    .get(RemoveWatermarkConstant.ZERO)
                    .toString();
            // 把playwm替換成play
            videoAddress = videoAddress.replaceAll(RemoveWatermarkConstant.PLAY_WM, RemoveWatermarkConstant.PLAY);
            // 視頻標題
            String title = obj.getJSONArray(RemoveWatermarkConstant.ITEM_LIST)
                    .getJSONObject(RemoveWatermarkConstant.ZERO)
                    .getString(RemoveWatermarkConstant.DESC);
            videoRemoveWatermarkVo.setUrl(videoAddress)
                    .setTitle(title);
        } catch (Exception e) {
            log.error(RemoveWatermarkConstant.D_Y_API_ERR, e.getMessage());
        }
        log.info("videoRemoveWatermarkVo參數(shù):{}",videoRemoveWatermarkVo.toString());
        return videoRemoveWatermarkVo;
    }

    /**
     * 方法描述: 過濾分享鏈接的中文漢字
     */
    private String filterUrl(String url) {
        Matcher m = Pattern.compile(RemoveWatermarkConstant.REGEX).matcher(url);
        if (m.find()) {
            return url.substring(m.start(), m.end());
        }
        return "";
    }

    /**
     * 爬取原視頻需要的地址和入?yún)?     */
    private VideoUrlVo getTrueAddress(String url, Integer type) {
        VideoUrlVo videoUrlVo = new VideoUrlVo();
        //本地測試驅(qū)動路徑
//        System.setProperty(RemoveWatermarkConstant.DRIVER_URL, "D:\\Program Files\\old_chrome\\old_chrome114\\chromedriver114win32\\chromedriver.exe");
        System.setProperty(RemoveWatermarkConstant.DRIVER_URL, removeWatermarkProperties.getDriver_url());
        // 設(shè)置谷歌瀏覽器入?yún)?/span>
        ChromeOptions options = new ChromeOptions();
        //本地瀏覽器路徑
//        options.setBinary("D:\\Program Files\\old_chrome\\old_chrome114\\APP\\Chrome-bin\\chrome.exe");
        options.addArguments(RemoveWatermarkConstant.CHROME_USER_AGENT + RemoveWatermarkConstant.CHROME_USER_AGENT_ANDROID);
        options.addArguments(RemoveWatermarkConstant.DISABLE_BLINK_FEATURES);
        options.addArguments(RemoveWatermarkConstant.DISABLE_EXTENSIONS);
        options.addArguments(RemoveWatermarkConstant.DISABLE_POPUP_BLOCKING);
        // 設(shè)置瀏覽器選項,模擬移動設(shè)備
        options.addArguments(RemoveWatermarkConstant.WINDOW_SIZE);
        // 創(chuàng)建 ChromeDriver 并傳入 ChromeOptions
        ChromeDriver driver = new ChromeDriver(options);
        // 啟用 Chrome DevTools
        DevTools devTools = driver.getDevTools();
        devTools.createSession();

        // 抖音是GET請求直接拿URL就行

        //爬蟲更新后的抖音視頻獲取
        devTools.addListener(Network.requestWillBeSent(), response -> {
            Request request = response.getRequest();
            if (Objects.nonNull(request) && request.getUrl().contains(RemoveWatermarkConstant.D_Y_VIDEO_URL)) {
                videoUrlVo.setResponseVideoUrl(request.getUrl());
            }
            if (Objects.nonNull(request) && request.getUrl().contains(RemoveWatermarkConstant.D_Y_RE_VIDEO_URL)) {
                videoUrlVo.setRedirectUrl(request.getUrl());
            }
        });
        
        // 啟用監(jiān)聽器
        devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty()));
        // 訪問目標網(wǎng)頁
        driver.get(url);
        try {
            TimeUnit.SECONDS.sleep(2);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        }
        // 關(guān)閉瀏覽器
        driver.quit();
        return videoUrlVo;
    }

}

3.2、標題獲取

package cn.executor;

import cn.perfectlinks.node.properties.RemoveWatermarkProperties;
import cn.perfectlinks.node.utils.RemoveWatermarkConstant;
import com.perfectlinks.applink.common.core.exception.Assert;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpEntity;
import org.apache.http.HttpStatus;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.utils.HttpClientUtils;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import org.springframework.stereotype.Component;
import java.io.IOException;

@Component
@Slf4j
@RequiredArgsConstructor
public class Title{
    
    public String titleFetch(String redirectUrl){

        CloseableHttpClient httpClient = HttpClients.createDefault();
        CloseableHttpResponse response = null;
        //2.創(chuàng)建get請求
        HttpGet request = new HttpGet(redirectUrl);
        //設(shè)置請求頭,將爬蟲偽裝成瀏覽器
        request.setHeader("User-Agent", RemoveWatermarkConstant.CHROME_USER_AGENT_ANDROID);

        try {
            //3.執(zhí)行g(shù)et請求
            response = httpClient.execute(request);

            //4.判斷響應狀態(tài)為200,進行處理
            Assert.isTrue(response.getStatusLine().getStatusCode() == HttpStatus.SC_OK, "視頻標題獲取失敗");

            //5.獲取響應內(nèi)容
            HttpEntity httpEntity = response.getEntity();
            Assert.isTrue(httpEntity != null, "視頻標題獲取失敗");
            String html = EntityUtils.toString(httpEntity, "utf-8");

            String extractedContent = extractContent(html);
            Assert.isTrue(!"".equals(extractedContent), "視頻標題獲取失敗");

            return extractedContent.split("\"")[3].split(" - ")[0];
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            //6.關(guān)閉
            HttpClientUtils.closeQuietly(response);
            HttpClientUtils.closeQuietly(httpClient);
        }
        return null;
    }

    //截取字符串
    public static String extractContent(String htmlString) {
        String startTag = "name=\"description\" content=\"";
        String endTag = "\"/><meta data-react-helmet=\"true\" name=\"keywords\"";

        int startIndex = htmlString.indexOf(startTag);
        int endIndex = htmlString.indexOf(endTag);

        if (startIndex == -1 || endIndex == -1) {
            return "";
        }
        return htmlString.substring(startIndex, endIndex);
    }

}

4、快手爬蟲獲取

package cn.perfectlinks.node.executor;

import cn.hutool.http.HttpRequest;
import cn.hutool.http.HttpResponse;
import cn.hutool.json.JSONUtil;
import cn.perfectlinks.node.properties.RemoveWatermarkProperties;
import cn.perfectlinks.node.utils.RemoveWatermarkConstant;
import cn.perfectlinks.node.vo.VideoRemoveWatermarkVo;
import cn.perfectlinks.node.vo.VideoUrlVo;

import com.alibaba.fastjson2.JSONObject;
import lombok.RequiredArgsConstructor;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.devtools.DevTools;
import org.openqa.selenium.devtools.v114.network.Network;
import org.springframework.stereotype.Component;

import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.Objects;
import java.util.Optional;
import java.util.concurrent.TimeUnit;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

@Component
@Slf4j
@RequiredArgsConstructor
public class KSVideo {
    private final RemoveWatermarkProperties removeWatermarkProperties;

    @SneakyThrows
    public VideoRemoveWatermarkVo executor(String oldVideoUrl) throws IOException {
        log.info("請求參數(shù):"+ oldVideoUrl);
        VideoRemoveWatermarkVo videoRemoveWatermarkVo = new VideoRemoveWatermarkVo();
        // 拿到分享鏈接中的視頻地址
        String filterUrl = this.filterUrl(oldVideoUrl);
        // 視頻解析
        if (oldVideoUrl.contains(RemoveWatermarkConstant.K_S_COM)) {
            videoRemoveWatermarkVo = this.ksParseUrl(filterUrl);
        } else {
            throw new Exception(RemoveWatermarkConstant.ONLY_SUPPORT_ERR);
        }
        if (videoRemoveWatermarkVo.getUrl() == null){
            throw new Exception(RemoveWatermarkConstant.SHARING_FAILURE);
        }

        return videoRemoveWatermarkVo;
    }

    /**
     * 方法描述: 快手視頻去水印
     */
    private VideoRemoveWatermarkVo ksParseUrl(String url) {
        VideoRemoveWatermarkVo videoRemoveWatermarkVo = new VideoRemoveWatermarkVo();
        // 爬取請求數(shù)據(jù)
        VideoUrlVo trueAddress = this.getTrueAddress(url, RemoveWatermarkConstant.K_S_TYPE);
        log.info(RemoveWatermarkConstant.K_S_DATA, trueAddress.getResponseVideoUrl(), trueAddress.getReferer());
        if (StringUtils.isBlank(trueAddress.getResponseVideoUrl()) || StringUtils.isBlank(trueAddress.getReferer()))
            return videoRemoveWatermarkVo;
        // 獲取快手cookie
        this.getCookieInfo(trueAddress);
        log.info(RemoveWatermarkConstant.K_S_COOKIE, trueAddress.getCookieInfo());
        if (StringUtils.isBlank(trueAddress.getCookieInfo())) return videoRemoveWatermarkVo;
        try {
            if (StringUtils.isBlank(trueAddress.getVideoPostBody())) return videoRemoveWatermarkVo;
            String videoPostBody = trueAddress.getVideoPostBody();
            JSONObject obj = JSONObject.parseObject(videoPostBody);
            // post請求設(shè)置請求體
            cn.hutool.json.JSONObject map = JSONUtil.createObj();
            this.setPostParams(obj, map);
            if (StringUtils.isBlank(trueAddress.getResponseVideoUrl())) return videoRemoveWatermarkVo;
            HttpResponse execute = HttpRequest.post(trueAddress.getResponseVideoUrl())
                    .header(RemoveWatermarkConstant.USER_AGENT, RemoveWatermarkConstant.CHROME_USER_AGENT_IPHONE)
                    .header(RemoveWatermarkConstant.COOKIE, trueAddress.getCookieInfo())
                    .header(RemoveWatermarkConstant.REFERER, trueAddress.getReferer())
                    .body(map.toString())
                    .execute();
            String body = execute.body();
            if (StringUtils.isBlank(body)) return videoRemoveWatermarkVo;
            JSONObject jsonObject = JSONObject.parseObject(body);
            // 獲取標題
            String title = jsonObject.getJSONObject(RemoveWatermarkConstant.SHARE_INFO)
                    .getString(RemoveWatermarkConstant.SHARE_TITLE);
            // 獲取無水印視頻鏈接
            String videoAddress = jsonObject.getString(RemoveWatermarkConstant.MP4_URL);
            videoRemoveWatermarkVo.setTitle(title)
                    .setUrl(videoAddress);
        } catch (Exception e) {
            log.error(RemoveWatermarkConstant.K_S_API_ERR, e.getMessage());
        }
        return videoRemoveWatermarkVo;
    }

    private void setPostParams(JSONObject obj, cn.hutool.json.JSONObject map) {
        map.set(RemoveWatermarkConstant.FID, obj.getString(RemoveWatermarkConstant.FID));
        map.set(RemoveWatermarkConstant.SHARE_TOKEN, obj.getString(RemoveWatermarkConstant.SHARE_TOKEN));
        map.set(RemoveWatermarkConstant.SHARE_OBJECT_ID, obj.getString(RemoveWatermarkConstant.SHARE_OBJECT_ID));
        map.set(RemoveWatermarkConstant.SHARE_METHOD, obj.getString(RemoveWatermarkConstant.SHARE_METHOD));
        map.set(RemoveWatermarkConstant.SHARE_ID, obj.getString(RemoveWatermarkConstant.SHARE_ID));
        map.set(RemoveWatermarkConstant.SHARE_RESOURCE_TYPE, obj.getString(RemoveWatermarkConstant.SHARE_RESOURCE_TYPE));
        map.set(RemoveWatermarkConstant.SHARE_CHANNEL, obj.getString(RemoveWatermarkConstant.SHARE_CHANNEL));
        map.set(RemoveWatermarkConstant.KPN, obj.getString(RemoveWatermarkConstant.KPN));
        map.set(RemoveWatermarkConstant.SUB_BIZ, obj.getString(RemoveWatermarkConstant.SUB_BIZ));
        map.set(RemoveWatermarkConstant.ENV, obj.getString(RemoveWatermarkConstant.ENV));
        map.set(RemoveWatermarkConstant.H5_DOMAIN, obj.getString(RemoveWatermarkConstant.H5_DOMAIN));
        map.set(RemoveWatermarkConstant.PHOTO_ID, obj.getString(RemoveWatermarkConstant.PHOTO_ID));
        map.set(RemoveWatermarkConstant.IS_LONG_VIDEO, obj.getString(RemoveWatermarkConstant.IS_LONG_VIDEO));
    }

    /**
     * 方法描述: 過濾分享鏈接的中文漢字
     */
    private String filterUrl(String url) {
        Matcher m = Pattern.compile(RemoveWatermarkConstant.REGEX).matcher(url);
        if (m.find()) {
            return url.substring(m.start(), m.end());
        }
        return "";
    }

    /**
     * 爬取原視頻需要的地址和入?yún)?     */
    private VideoUrlVo getTrueAddress(String url, Integer type) {
        VideoUrlVo videoUrlVo = new VideoUrlVo();
//        System.setProperty(RemoveWatermarkConstant.DRIVER_URL, "D:\\Program Files\\old_chrome\\chrome114\\chromedriver114win32\\chromedriver.exe");//本地測試驅(qū)動路徑
        System.setProperty(RemoveWatermarkConstant.DRIVER_URL, removeWatermarkProperties.getDriver_url());
        // 設(shè)置谷歌瀏覽器入?yún)?/span>
        ChromeOptions options = new ChromeOptions();
//        options.setBinary("D:\\Program Files\\old_chrome\\chrome114\\APP\\Chrome-bin\\chrome.exe");
        options.addArguments(RemoveWatermarkConstant.CHROME_USER_AGENT + RemoveWatermarkConstant.CHROME_USER_AGENT_ANDROID);
        options.addArguments(RemoveWatermarkConstant.DISABLE_BLINK_FEATURES);
        options.addArguments(RemoveWatermarkConstant.DISABLE_EXTENSIONS);
        options.addArguments(RemoveWatermarkConstant.DISABLE_POPUP_BLOCKING);
        // 設(shè)置瀏覽器選項,模擬移動設(shè)備
        options.addArguments(RemoveWatermarkConstant.WINDOW_SIZE);
        // 創(chuàng)建 ChromeDriver 并傳入 ChromeOptions
        ChromeDriver driver = new ChromeDriver(options);
        // 啟用 Chrome DevTools
        DevTools devTools = driver.getDevTools();
        devTools.createSession();
        // 快手是POST請求需要拿請求體
        devTools.addListener(Network.requestWillBeSent(), request -> {
            if (Objects.nonNull(request.getRequest()) && RemoveWatermarkConstant.POST.equals(request.getRequest().getMethod())) {
                if (request.getRequest().getUrl().contains(RemoveWatermarkConstant.K_S_URL)) {
                    videoUrlVo.setResponseVideoUrl(
                            request.getRequest()
                                    .getUrl()
                    );
                    request.getRequest()
                            .getPostData()
                            .ifPresent(videoUrlVo::setVideoPostBody);
                    String referer = Objects.requireNonNull(
                            request.getRequest()
                                    .getHeaders()
                                    .get(RemoveWatermarkConstant.REFERER)
                    ).toString();
                    videoUrlVo.setReferer(referer);
                }
            }
        });
       
        // 啟用監(jiān)聽器
        devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty()));
        // 訪問目標網(wǎng)頁
        driver.get(url);
        try {
            TimeUnit.SECONDS.sleep(2);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        }
        // 關(guān)閉瀏覽器
        driver.quit();
        return videoUrlVo;
    }
    
    private void getCookieInfo(VideoUrlVo trueAddress) {
        try {
            URL urlOne = new URL(RemoveWatermarkConstant.GET_COOKIE_URL);
            HttpURLConnection connection = (HttpURLConnection) urlOne.openConnection();
            connection.setRequestMethod(RemoveWatermarkConstant.POST);
            connection.setRequestProperty(RemoveWatermarkConstant.USER_AGENT, RemoveWatermarkConstant.USER_AGENT_V);
            String cookieHeader = connection.getHeaderField(RemoveWatermarkConstant.SET_COOKIE);
            String[] cookies = cookieHeader.split(RemoveWatermarkConstant.SPLIT);
            String cookie = cookies[RemoveWatermarkConstant.ZERO];
            connection.disconnect();
            trueAddress.setCookieInfo(cookie);
        } catch (IOException e) {
            log.error(RemoveWatermarkConstant.GET_COOKIE_ERR, e.getMessage());
        }
    }
}

5、結(jié)語

java爬蟲限制較多還是建議用python會更便捷,本篇僅供參考,如有問題可瀏覽探討。文章來源地址http://www.zghlxwxcb.cn/news/detail-805724.html

到了這里,關(guān)于保姆級爬蟲無水印視頻大全 最新版java+selenium的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 2023年node.js最新版(18.15.0)詳細安裝教程(保姆級)

    2023年node.js最新版(18.15.0)詳細安裝教程(保姆級)

    1.國外的官網(wǎng)地址: Node.js (nodejs.org) 下載慢,下面提供國內(nèi)地址. 可以看到當前的版本 LTS是大多用戶使用的穩(wěn)定版本, Current是最新版本, 這里選擇的是穩(wěn)定版本(18.15.0) 點擊如下圖所示位置Downloads 進行node.js下載 2.國內(nèi)下載地址: 下載 | Node.js 中文網(wǎng) (nodejs.cn) 點擊最新版本,點擊Wi

    2023年04月15日
    瀏覽(24)
  • ?LaTex2023 軟件下載+TeXstudio編輯器最新版+保姆級安裝教程

    ?LaTex2023 軟件下載+TeXstudio編輯器最新版+保姆級安裝教程

    軟件下載鏈接: 點擊獲取 LaTex(Win) LaTeX ,中文名為“拉泰赫”,是一種基于TEX的排版系統(tǒng),或者說一種排版語言,由美國計算機學家萊斯利·蘭伯特(Leslie Lamport)在20世紀80年代初期開發(fā),可用于直接生成PDF文件。由于LaTeX能夠有效生成表格和數(shù)學公式,同時具有結(jié)構(gòu)清晰

    2024年02月09日
    瀏覽(27)
  • VSCode安裝配置使用教程(最新版超詳細保姆級含插件)一文就夠了

    VSCode安裝配置使用教程(最新版超詳細保姆級含插件)一文就夠了

    Visual Studio Code 是一個輕量級功能強大的源代碼編輯器,支持語法高亮、代碼自動補全(又稱 IntelliSense)、代碼重構(gòu)、查看定義功能,并且內(nèi)置了命令行工具和 Git 版本控制系統(tǒng)。適用于 Windows、macOS 和 Linux。它內(nèi)置了對 JavaScript、TypeScript 和 Node.js 的支持,并為其他語言和運行

    2024年02月03日
    瀏覽(28)
  • Mac上Maven的安裝和環(huán)境變量配置保姆級教程(最新版實時更新)

    Mac上Maven的安裝和環(huán)境變量配置保姆級教程(最新版實時更新)

    目錄 一、Maven的安裝 1.進入官網(wǎng)(Maven官網(wǎng))下載安裝包并解壓 2.這里我使用了Homebrew安裝Maven 安裝Homebrew: 安裝Maven: 二、Maven配置環(huán)境變量 1.打開環(huán)境變量文檔: 2.在彈出文檔結(jié)尾加入配置: 3.保存變量配置: 4.驗證安裝結(jié)果: 三、配置本地倉庫 1.什么是本地倉庫 2.配置步

    2024年04月25日
    瀏覽(21)
  • 【2023最新版】超詳細Metasploit安裝保姆級教程,Metasploit滲透測試使用,看完這一篇就夠了

    【2023最新版】超詳細Metasploit安裝保姆級教程,Metasploit滲透測試使用,看完這一篇就夠了

    Metasploit 官方介紹 Metasploit是一個滲透測試框架,可以幫助您發(fā)現(xiàn)和利用漏洞。 Metasploit還為您提供了一個開發(fā)平臺,您可以編寫自己的安全工具或利用代碼。 今天,我將指導您了解如何使用Metasploit的基礎(chǔ)知識:如何安裝Metasploit,使用框架以及利用漏洞。 下載地址:https://

    2024年02月13日
    瀏覽(31)
  • 【2023最新版】超詳細Sqlmap安裝保姆級教程,SQL注入使用指南,收藏這一篇就夠了

    【2023最新版】超詳細Sqlmap安裝保姆級教程,SQL注入使用指南,收藏這一篇就夠了

    一、sqlmap簡介 sqlmap是一個自動化的SQL注入工具,其主要功能是掃描,發(fā)現(xiàn)并利用給定的URL進行SQL注入。目前支持的數(shù)據(jù)庫有MySql、Oracle、Access、PostageSQL、SQL Server、IBM DB2、SQLite、Firebird、Sybase和SAP MaxDB等 Sqlmap采用了以下5種獨特的SQL注入技術(shù) 基于布爾類型的盲注,即可以根據(jù)

    2024年02月10日
    瀏覽(27)
  • 利用Python中selenium庫爬蟲實現(xiàn)中國裁判文書網(wǎng)自動登錄批量下載功能——最新版詳細教程??!

    利用Python中selenium庫爬蟲實現(xiàn)中國裁判文書網(wǎng)自動登錄批量下載功能——最新版詳細教程!!

    如果電腦上沒有chrome瀏覽器或者當前chrome瀏覽器不是最新版,請先去chrome官網(wǎng)下載安裝最新版chrome瀏覽器 https://www.google.cn/chrome/index.html 什么是ChromeDriver ChromeDriver是一種用于自動化和控制Google Chrome瀏覽器的工具。它是一個開源的項目,由Google維護,并提供給開發(fā)者使用。Ch

    2024年02月04日
    瀏覽(124)
  • 使用騰訊云服務(wù)器+Nonebot2+go-cqhttp搭建QQ聊天機器人【保姆級教程 2023最新版】

    使用騰訊云服務(wù)器+Nonebot2+go-cqhttp搭建QQ聊天機器人【保姆級教程 2023最新版】

    下載go-cqhttp 這里有不同版本的cqhttp,并且對每個版本都有介紹。但是大家可以看到有 arm與adm 不同的版本,這兩個啥關(guān)系呢? 嚴格來說, AMD和ARM沒有任何關(guān)系 。AMD是桌面級處理器和桌面級GPU的生產(chǎn)廠商,而ARM是移動級處理器的生產(chǎn)廠商。AMD是目前業(yè)內(nèi)唯一一個可以提供高性能

    2023年04月18日
    瀏覽(25)
  • 最新版ApiFox接口測試教程,20分鐘學會,再結(jié)合項目實戰(zhàn)視頻教學

    最新版ApiFox接口測試教程,20分鐘學會,再結(jié)合項目實戰(zhàn)視頻教學

    20分鐘學ApiFox接口測試工具,結(jié)合30個項目實戰(zhàn)講解! 掌握了http協(xié)議,就掌握了接口測試 筆者在網(wǎng)絡(luò)上看過不少接口測試教程,一上來就開始講怎么操作工具,而不告訴讀者為什么要這么操作。讀者可能照貓畫虎成功了,也可能操作失敗了但不知為何出錯。 因此,本文作為

    2024年02月13日
    瀏覽(19)
  • 【面試】Java高頻面試題(2023最新版)

    【面試】Java高頻面試題(2023最新版)

    JDK(Java Development Kit),Java開發(fā)工具包 JRE(Java Runtime Environment),Java運行環(huán)境 JDK中包含JRE,JDK中有一個名為jre的目錄,里面包含兩個文件夾bin和lib,bin就是JVM,lib 就是JVM工作所需要的類庫。 對于基本類型,== 比較的是值; 對于引用類型,==比較的是地址; equals不能用于基

    2023年04月26日
    瀏覽(27)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包