Life doesn't get easier or more forgiving; we get stronger and more resilient.
生活從未變得更加輕松或?qū)捜荩俏覀冊谝稽c一點變強、變堅韌。———— Steve Maraboli
爬蟲如何識別網(wǎng)頁的正文部分？ 比如寫一個python爬蟲去抓百度搜索結(jié)果列表中的網(wǎng)頁數(shù)據(jù)， 然后從這些網(wǎng)頁中提取出正文部分（比如新聞資訊的文章部分），是否可以實現(xiàn)？能實現(xiàn)的話應該如何去做？ 百度新聞中，每條信息都會顯示有多少條重復數(shù)據(jù)，這個應該是百度抓取的每個頁面的正文部分吧。所以這個功能是可能實現(xiàn)的。 抓回一個頁面的數(shù)據(jù)，如何匹配出正文部分，鄭曉在下班路上想了個思路是： 1...
寫的一個爬蟲練習，目的是抓取目標站點下所有鏈接， 并記錄下問題鏈接url（包括問題url，入口鏈接，http狀態(tài)碼）?？梢宰孕性O置線程數(shù)量，程序開啟一個子線程來維護當前線程數(shù)量。之前還好點兒，現(xiàn)在是越改bug越多，問題越多。 目前發(fā)現(xiàn)的問題有： 1.線程的管理上，之前用傳統(tǒng)的方法，三個for循環(huán)來創(chuàng)建固定數(shù)量線程，不過發(fā)現(xiàn)如果某線程拋出異常后，線程終止，總線程數(shù)就會減少。所以自己改成了...