国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

安全滲透測(cè)試中的一款免費(fèi)開(kāi)源的超級(jí)關(guān)鍵詞URL采集工具

這篇具有很好參考價(jià)值的文章主要介紹了安全滲透測(cè)試中的一款免費(fèi)開(kāi)源的超級(jí)關(guān)鍵詞URL采集工具。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

安全滲透測(cè)試中的一款免費(fèi)開(kāi)源的超級(jí)關(guān)鍵詞URL采集工具。

####################
免責(zé)聲明:工具本身并無(wú)好壞,希望大家以遵守《網(wǎng)絡(luò)安全法》相關(guān)法律為前提來(lái)使用該工具,支持研究學(xué)習(xí),切勿用于非法犯罪活動(dòng),對(duì)于惡意使用該工具造成的損失,和本人及開(kāi)發(fā)者無(wú)關(guān)。
####################

superl-url 關(guān)鍵詞URL采集:

一款基于Python的開(kāi)源免費(fèi)關(guān)鍵詞URL采集工具。

根據(jù)關(guān)鍵詞,對(duì)搜索引擎內(nèi)容檢索結(jié)果的網(wǎng)址內(nèi)容進(jìn)行采集的一款輕量級(jí)軟程序。

程序主要運(yùn)用于安全滲透測(cè)試項(xiàng)目,以及批量評(píng)估各類(lèi)CMS系統(tǒng)0DAY的影響程度,同時(shí)也是批量采集自己獲取感興趣的網(wǎng)站的一個(gè)小程序~~

可自動(dòng)從搜索引擎采集相關(guān)網(wǎng)站的真實(shí)地址與標(biāo)題等信息,可保存為文件,自動(dòng)去除重復(fù)URL。同時(shí),也可以自定義忽略多條域名。

安全滲透測(cè)試中的一款免費(fèi)開(kāi)源的超級(jí)關(guān)鍵詞URL采集工具

程序特色
支持同時(shí)采集多個(gè)搜索引擎(已內(nèi)置了百度,搜狗,360),結(jié)構(gòu)模塊化,很方便進(jìn)行擴(kuò)展,可以無(wú)限添加。

獲取到的是搜索引擎的搜索結(jié)果的真實(shí)URL地址

跨平臺(tái),采用Python開(kāi)發(fā),所有代碼完整開(kāi)源.并且無(wú)捆綁后門(mén)風(fēng)險(xiǎn),更新方便。網(wǎng)上大部分URL采集軟件為WINDOWS下的可執(zhí)行文件,并且很多都在搜索引擎更新后無(wú)法正常使用。

強(qiáng)大的過(guò)濾功能。可過(guò)濾多種頂級(jí)域名,可過(guò)濾指定標(biāo)題中包含某關(guān)鍵子的URL,比如搜索結(jié)果中過(guò)濾屬于youku.com的子域名URL。支持TXT配置過(guò)濾。

可自動(dòng)去除重復(fù)URL

可靈活的通過(guò)配置文件自定義要保存的結(jié)果格式。比如只輸出帶參數(shù)的原始真實(shí)URL,或者只輸出域名,或者同時(shí)輸出標(biāo)題,搜索引擎名稱(chēng)。

可靈活的開(kāi)啟與關(guān)閉參與采集的搜索引擎,比如只想使用百度,就把其他搜索引擎參數(shù)設(shè)置為False即可。

同時(shí)兼容python3和python2版本運(yùn)行!良心開(kāi)源小產(chǎn)品啊~~~

可分別自定義不同搜索引擎每頁(yè)顯示數(shù)量(如果搜索引擎自身支持的話)

支持多進(jìn)程同時(shí)采集,每個(gè)搜索引擎一個(gè)進(jìn)程

可自定義每頁(yè)采集時(shí)間間隔,防止被屏蔽

實(shí)時(shí)顯示采集到的網(wǎng)頁(yè)的【真實(shí)URL】以及【標(biāo)題】。前面的【ID】對(duì)應(yīng)的是當(dāng)前頁(yè)搜索引擎結(jié)果的第X條數(shù)據(jù)。

保存類(lèi)型可自定義,目前支持保存為本地txt,以及寫(xiě)入遠(yuǎn)程MYSQL數(shù)據(jù)庫(kù)!

superl-url安裝與使用

git clone https://github.com/super-l/superl-url.git

安裝依賴(lài)

python3:pip install ConfigParserpip install tldextract

Python2:pip install tldextractpip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

如果提示模塊不存在,則根據(jù)提示進(jìn)行安裝!

使用說(shuō)明
如果要采集關(guān)鍵詞為“hacker”的相關(guān)網(wǎng)站,采集搜索結(jié)果的前3頁(yè),則輸入如下:

please input keyword:hacker

Search Number of pages:3


配置文件說(shuō)明 config.cfg :

節(jié)點(diǎn) 參數(shù) 示例值 說(shuō)明
global save_type mysql 保存類(lèi)型 可選擇file或者mysql 如果是file則保存為本地txt
global sleep_time 1 每次搜索處理完一頁(yè)后的等待時(shí)間,防止太頻繁被搜索引擎屏蔽
url url_type realurl 保存文件txt里面顯示的url類(lèi)型。realurl=真實(shí)網(wǎng)站地址 baseurl=原始搜索引擎地址 urlparam=帶參數(shù)的真實(shí)網(wǎng)站地址
filter filter_status True 是否開(kāi)啟過(guò)濾器,如果開(kāi)啟,則過(guò)濾域名和標(biāo)題都不生效
filter filter_domain True 是否過(guò)濾域名
filter filter_title True 是否過(guò)濾標(biāo)題
log write_title True 是否顯示標(biāo)題
log write_name True 是否顯示搜索引擎名稱(chēng)
engine baidu True 百度搜索引擎模塊是否開(kāi)啟
engine sougou True 搜狗模塊是否開(kāi)啟
engine so False 搜搜模塊是否開(kāi)啟 (搜搜現(xiàn)在抓取不到了)
pagesize baidu_pagesize 50 每頁(yè)條數(shù)
pagesize sougou_pagesize 50 每頁(yè)條數(shù)
pagesize so_pagesize 10 每頁(yè)條數(shù)
mysql host 127.0.0.1 如果保存類(lèi)型為Mysql,則此節(jié)點(diǎn)必須配置正確
mysql port 3306 端口
mysql user root 用戶(hù)名
mysql password root 密碼
mysql database superldb 數(shù)據(jù)庫(kù)名稱(chēng)
mysql table search_data 表名稱(chēng)
file save_pathdir result 如果保存類(lèi)型為file,則這里設(shè)置的是保存的路徑,當(dāng)前為程序根目錄的result文件夾
plugin pr True 預(yù)留的插件功能,暫時(shí)不支持


數(shù)據(jù)庫(kù)創(chuàng)建表sql語(yǔ)句:文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-435561.html


CREATE TABLE `search_data` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `engine` varchar(20) NOT NULL DEFAULT '',
  `keyword` varchar(100) NOT NULL DEFAULT '',
  `baseurl` varchar(255) NOT NULL DEFAULT '',
  `realurl` varchar(255) NOT NULL DEFAULT '',
  `urlparam` varchar(255) NOT NULL DEFAULT '',
  `webtitle` varchar(255) NOT NULL DEFAULT '',
  `create_time` int(10) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=395 DEFAULT CHARSET=utf8;

到了這里,關(guān)于安全滲透測(cè)試中的一款免費(fèi)開(kāi)源的超級(jí)關(guān)鍵詞URL采集工具的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶(hù)投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 啟山智軟/一款包含主流商城類(lèi)型的一款電商中臺(tái)系統(tǒng)100%開(kāi)源

    啟山智軟/一款包含主流商城類(lèi)型的一款電商中臺(tái)系統(tǒng)100%開(kāi)源

    想要了解代碼規(guī)范,學(xué)習(xí)商城解決方案,點(diǎn)擊下方官網(wǎng)鏈接聯(lián)系客服 作者:?jiǎn)⑸街擒?官網(wǎng)及博客:?jiǎn)⑸街擒浌倬W(wǎng)、CSDN、掘金、gitee 簡(jiǎn)介:?jiǎn)⑸街擒浤壳伴_(kāi)發(fā)了全渠道電商商城系統(tǒng),本商城是基于SpringCloud的商城系統(tǒng),百萬(wàn)真實(shí)用戶(hù)沉淀并檢驗(yàn)的商城。 注意:該項(xiàng)目只提供學(xué)

    2024年02月07日
    瀏覽(26)
  • 網(wǎng)絡(luò)安全|滲透測(cè)試入門(mén)學(xué)習(xí),從零基礎(chǔ)入門(mén)到精通—滲透中的開(kāi)發(fā)語(yǔ)言

    網(wǎng)絡(luò)安全|滲透測(cè)試入門(mén)學(xué)習(xí),從零基礎(chǔ)入門(mén)到精通—滲透中的開(kāi)發(fā)語(yǔ)言

    目錄 前面的話 開(kāi)發(fā)語(yǔ)言 1、html 解析 2、JavaScript 用法 3、JAVA ? 特性 4、PHP 作用 PHP 能做什么? 5、C/C++ 使用 如何學(xué)習(xí) 關(guān)于在滲透中需要學(xué)習(xí)的語(yǔ)言第一點(diǎn)個(gè)人認(rèn)為就是可以打一下HTML,JS那些基礎(chǔ)知識(shí),磨刀不誤砍柴工。其次,了解基本的代碼后,就可以去學(xué)習(xí)相關(guān)的漏洞知

    2024年02月09日
    瀏覽(20)
  • 基于kali的一次無(wú)線滲透測(cè)試

    基于kali的一次無(wú)線滲透測(cè)試

    《中華人民共和國(guó)刑法》 第二百八十六條 違反國(guó)家規(guī)定,對(duì)計(jì)算機(jī)信息系統(tǒng)功能進(jìn)行刪除、修改、增加、干擾,造成計(jì)算機(jī)信息系統(tǒng)不能正常運(yùn)行,后果嚴(yán)重的,處五年以下有期徒刑或者拘役;后果特別嚴(yán)重的,處五年以上有期徒刑。違反國(guó)家規(guī)定,對(duì)計(jì)算機(jī)信息系統(tǒng)中存

    2024年02月03日
    瀏覽(17)
  • 基于Flutter的一款摸魚(yú)APP的UI自動(dòng)化測(cè)試實(shí)踐

    基于Flutter的一款摸魚(yú)APP的UI自動(dòng)化測(cè)試實(shí)踐

    最近想在全網(wǎng)找一個(gè)好用的摸魚(yú)app,為了上班時(shí)摸摸魚(yú),畢竟一直摸魚(yú)一直爽嘛。對(duì)比了網(wǎng)上幾款摸魚(yú)軟件,最終選擇這款應(yīng)用——摸魚(yú)kik。以往所用的RSS訂閱在摸魚(yú)kik中發(fā)揮到了極致,我們既可以訂閱感興趣的內(nèi)容,也可以“二次聚合”我們想要的信息。 給大家截了幾張圖

    2023年04月11日
    瀏覽(23)
  • Blender 是一款免費(fèi)開(kāi)源的 3D 創(chuàng)作套件

    Blender 是一款免費(fèi)開(kāi)源的 3D 創(chuàng)作套件

    ? ? ? ? Blender是一個(gè)免費(fèi)和開(kāi)源的 3D 計(jì)算機(jī)圖形軟件工具集,用于創(chuàng)建動(dòng)畫(huà)電影、視覺(jué)效果、藝術(shù)、3D 打印模型、交互式 3D 應(yīng)用、VR 和計(jì)算機(jī)游戲。隨著 Blender 3.4 的發(fā)布,Blender 開(kāi)發(fā)人員覺(jué)得這款開(kāi)源 3D 建模軟件能更好發(fā)揮其性能。 ? ????????Blender 是一款免費(fèi)開(kāi)源的

    2024年02月16日
    瀏覽(25)
  • 思通輿情 是一款開(kāi)源免費(fèi)的輿情系統(tǒng) 介紹

    思通輿情 是一款開(kāi)源免費(fèi)的輿情系統(tǒng) 介紹

    思通輿情 是一款開(kāi)源免費(fèi)的輿情系統(tǒng)。 支持本地化部署,支持在線體驗(yàn)。 支持對(duì)海量輿情數(shù)據(jù)分析和挖掘。 無(wú)論你是使用者還是共同完善的開(kāi)發(fā)者,歡迎 pull request 或者 留言對(duì)我們提出建議。 您的支持和參與就是我們堅(jiān)持開(kāi)源的動(dòng)力!請(qǐng)? ?star?或者?fork! 思通輿情 的功能

    2024年04月13日
    瀏覽(26)
  • 一款開(kāi)源免費(fèi)商用的企業(yè)培訓(xùn)系統(tǒng)、線上網(wǎng)校系統(tǒng)

    一款開(kāi)源免費(fèi)商用的企業(yè)培訓(xùn)系統(tǒng)、線上網(wǎng)校系統(tǒng)

    PlayEdu一款適用于內(nèi)部培訓(xùn)的開(kāi)源系統(tǒng),功能強(qiáng)大,界面美觀,致力于搭建私有化內(nèi)部培訓(xùn)平臺(tái),本文介紹docker快速安裝方法。 目錄 技術(shù)棧 功能特性界面截圖 安裝系統(tǒng) 代碼倉(cāng)庫(kù) 前臺(tái)采用 React18 + Vite 開(kāi)發(fā),后臺(tái)采用 Java + Springboot + MySQL 開(kāi)發(fā)。 開(kāi)源協(xié)議:Apache2.0 準(zhǔn)備工作 服

    2024年02月07日
    瀏覽(19)
  • 推薦一款好用的開(kāi)源視頻播放器(免費(fèi)無(wú)廣告)

    推薦一款好用的開(kāi)源視頻播放器(免費(fèi)無(wú)廣告)

    mpv是一個(gè)自由開(kāi)源的媒體播放器,它支持多種音頻和視頻格式,并且具有高度可定制性。mpv的設(shè)計(jì)理念是簡(jiǎn)潔、高效和功能強(qiáng)大。 軟件特點(diǎn): 1. 開(kāi)源、跨平臺(tái)??梢栽赪indowsLinuxMacOSBSD等系統(tǒng)上使用,完全免費(fèi)無(wú)廣告。Windows版解壓即用,綠色便攜。 2. 兼容性好。支持絕大多

    2024年02月11日
    瀏覽(38)
  • 一款開(kāi)源免費(fèi)、更符合現(xiàn)代用戶(hù)需求的論壇系統(tǒng):vanilla

    一款開(kāi)源免費(fèi)、更符合現(xiàn)代用戶(hù)需求的論壇系統(tǒng):vanilla

    對(duì)于個(gè)人建站來(lái)說(shuō),WordPress相信很多讀者都知道了。但WordPress很多時(shí)候我們還是用來(lái)建立自主發(fā)布內(nèi)容的站點(diǎn)為主,適用于個(gè)人博客、企業(yè)主站等。雖然有的主題可以把WordPress變?yōu)檎搲Ч⒉皇呛芎谩?所以,今天給大家推薦一個(gè)開(kāi)源的論壇項(xiàng)目: vanilla ,有建站需求的

    2024年02月14日
    瀏覽(28)
  • 網(wǎng)路安全技能競(jìng)賽——【Linux操作系統(tǒng)滲透提權(quán)】解析(超級(jí)詳細(xì))

    網(wǎng)路安全技能競(jìng)賽——【Linux操作系統(tǒng)滲透提權(quán)】解析(超級(jí)詳細(xì))

    Linux操作系統(tǒng)滲透提權(quán) 任務(wù)環(huán)境說(shuō)明: 服務(wù)器場(chǎng)景:Server2202(關(guān)閉鏈接) 用戶(hù)名:hacker??????? 密碼:123456 使用滲透機(jī)對(duì)服務(wù)器信息收集,并將服務(wù)器中SSH服務(wù)端口號(hào)作為flag提交; 我這里使用qemu虛擬化啟動(dòng)靶機(jī),如下圖所示 ? Arp-scan -l主機(jī)發(fā)現(xiàn) ? 進(jìn)行端口信息服務(wù)探

    2024年02月08日
    瀏覽(24)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包