在使用python進(jìn)行爬蟲(chóng)的時(shí)候，使用selenium進(jìn)行爬取的時(shí)候經(jīng)常會(huì)出現(xiàn)已緩存過(guò)大的情況，如果緩存出現(xiàn)過(guò)大之后再次執(zhí)行的話就會(huì)計(jì)算機(jī)拒絕，但是這個(gè)時(shí)候我們的內(nèi)存又有很多空間可以使用，一開(kāi)始我以為是占用文件過(guò)多然后點(diǎn)360的那個(gè)進(jìn)行文件整理和清理垃圾，結(jié)果效果一樣還是無(wú)法使用，再買(mǎi)一個(gè)內(nèi)存條的話又不想花錢(qián)了，一番檢查后發(fā)現(xiàn)是這個(gè)已緩存占用過(guò)大也就是備用內(nèi)存。
一開(kāi)始我想到的方案就是selenium里面去釋放掉內(nèi)存，例如driver.quit driver.close drive.fresh 但是效果并不大，或者去整理掉計(jì)算機(jī)用文件去清理，效果只是處理掉了些沒(méi)用的文件對(duì)我的內(nèi)存并沒(méi)有作用，那么如果徹底解決這些我找了一段時(shí)間發(fā)現(xiàn)去清理掉這個(gè)已緩存內(nèi)存空間就行，但是找又找不到，后面才發(fā)現(xiàn)原來(lái)人們叫他備用內(nèi)存。
1.關(guān)機(jī)重啟休眠
這些都可以釋放掉備用內(nèi)存，但是我的爬蟲(chóng)需要一直執(zhí)行，不可能到了一段時(shí)間再關(guān)機(jī)重啟那樣有些數(shù)據(jù)就會(huì)找不到，所以這個(gè)方案效果不大
2.RamMap
RamMap
這個(gè)軟件就有點(diǎn)效果了使用也很簡(jiǎn)單點(diǎn)Empty - Empty Standby List就行，然后就可以一鍵釋放掉備用內(nèi)存的全部?jī)?nèi)存
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-400987.html
3.lntelligent standby list cleaner
這個(gè)軟件是一個(gè)可以設(shè)置定時(shí)清理緩存，一到一定的程度就可以自動(dòng)幫你在后臺(tái)清理緩存非常好用使用方法也很簡(jiǎn)單用管理員模式打開(kāi)軟件
點(diǎn)擊purge standby list就可以釋放掉你的備用內(nèi)存，
wanted timer resolution 就是指定需要開(kāi)啟的次數(shù)
the list size at least就是設(shè)置當(dāng)備用內(nèi)存到多大的時(shí)候開(kāi)始執(zhí)行比如你設(shè)置8096就是備用內(nèi)存到8G的時(shí)候就執(zhí)行，
下面那個(gè)就是自由內(nèi)存小于多少的時(shí)候開(kāi)始執(zhí)行
最后點(diǎn)擊start就可以執(zhí)行，執(zhí)行后軟件就在后臺(tái)運(yùn)行
點(diǎn)擊stop就關(guān)閉執(zhí)行
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-400987.html
到了這里，關(guān)于python中使用selenium進(jìn)行爬蟲(chóng)時(shí)，導(dǎo)致（內(nèi)存已緩存）備用內(nèi)存占用過(guò)大導(dǎo)致崩潰問(wèn)題，3個(gè)解決方案的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
