Rivers know this: there is no hurry. We shall get there some day.
河流知道這一點：無需匆忙。我們終有一日會到達(dá)。———— A. A. Milne
爬蟲如何識別網(wǎng)頁的正文部分？比如寫一個python爬蟲去抓百度搜索結(jié)果列表中的網(wǎng)頁數(shù)據(jù)， 然后從這些網(wǎng)頁中提取出正文部分（比如新聞資訊的文章部分），是否可以實現(xiàn)？能實現(xiàn)的話應(yīng)該如何去做？百度新聞中，每條信息都會顯示有多少條重復(fù)數(shù)據(jù)，這個應(yīng)該是百度抓取的每個頁面的正文部分吧。所以這個功能是可能實現(xiàn)的。抓回一個頁面的數(shù)據(jù)，如何匹配出正文部分，鄭曉在下班路上想了個思路是：1...
寫的一個爬蟲練習(xí)，目的是抓取目標(biāo)站點下所有鏈接， 并記錄下問題鏈接url（包括問題url，入口鏈接，http狀態(tài)碼）?？梢宰孕性O(shè)置線程數(shù)量，程序開啟一個子線程來維護(hù)當(dāng)前線程數(shù)量。之前還好點兒，現(xiàn)在是越改bug越多，問題越多。目前發(fā)現(xiàn)的問題有：1.線程的管理上，之前用傳統(tǒng)的方法，三個for循環(huán)來創(chuàng)建固定數(shù)量線程，不過發(fā)現(xiàn)如果某線程拋出異常后，線程終止，總線程數(shù)就會減少。所以自己改成了...