設計爬蟲時，通常都回避動態(tài)網頁(如Charkabarti，Joshi，Punera，&Pennock，2002)。識別動態(tài)網頁時，只需要看URL中是否出現問號，含問號的就是動態(tài)網頁。忽略動態(tài)網頁是因為它們容易造成蜘蛛陷阱。蜘蛛陷阱理論上是一個無限的網頁集合，而蜘蛛永遠不能完整地遍歷這個集合。在線日歷就是一個容易被忽略的蜘蛛陷阱，它生成的動態(tài)網頁中可以標上任何日期，并包含指向后一天網頁的鏈接。一個爬蟲從這個日歷中找到一個網頁后，便會無止境地請求后一天的網頁。
動態(tài)的頁面（url）屬于蜘蛛陷阱，搜索引擎蜘蛛一旦爬行進入，很有可能會出不來、或是難以流暢的抓取，所以建議網頁一定是靜態(tài)或是經過偽靜態(tài)處理的
本站文章均為永諾網站建設摘自權威資料，書籍，或網絡原創(chuàng)文章，如有版權糾紛或者違規(guī)問題，請即刻聯系我們刪除，我們歡迎您分享，引用和轉載，我們謝絕直接復制和抄襲！感謝...
猜你喜歡
聯絡方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
后勤維修報單軟件哪個好
醫(yī)院單位后勤維修小程序軟件解決了報修問題，更是一個智能化的數字管理平臺。后勤維修報單軟件能上實現降本增效，減少紙質的單據，電話的等級，幫助維修人員更快的響應，提升后勤...
-
開發(fā)一個蛋糕店微信小程序軟件
一、蛋糕店小程序軟件項目客戶來源介紹 老板是在順企網平臺看到的我們的文章資訊，想在安徽地區(qū)開一家蛋糕店，想要做一款小程序軟件系統(tǒng)。老板的想法非常的簡單做簡單的...
-
多商戶入駐掃碼點餐小程序
多商戶入駐掃碼點餐小程序軟件開發(fā)，包括二維碼點餐，微信支付寶點餐，外賣點餐源碼系統(tǒng)開發(fā)等。 該系統(tǒng)開發(fā)的模式與語言版本： 1.開發(fā)語言：JAVA，php 2.數據庫：MySQL...
-
同城分類信息APP軟件開發(fā)
同城分類信息有PC端和移動端，小程序端，開發(fā)分類信息軟件主要是端口多用戶才會集中使用。該軟件還支持商戶付費和免費發(fā)布信息，店鋪轉讓，項目合作，線下活動等相關的功能開發(fā)，多...
-
校園后勤維修報單小程序管理系統(tǒng)
一、校園后勤維修報單小程序軟件項目介紹 后勤維修報單小程序軟件開發(fā)是在現代化的辦公領域，例如物業(yè)，園區(qū)，校園，醫(yī)院的高信息量的單位上。后勤維修報單不是小事，卻影響著...
