Years may wrinkle the skin, but to give up enthusiasm wrinkles the soul.
歲月留痕，只及肌膚；激情不再，皺起心靈。———— Samuel Ullman
爬蟲如何識(shí)別網(wǎng)頁的正文部分？比如寫一個(gè)python爬蟲去抓百度搜索結(jié)果列表中的網(wǎng)頁數(shù)據(jù)， 然后從這些網(wǎng)頁中提取出正文部分（比如新聞資訊的文章部分），是否可以實(shí)現(xiàn)？能實(shí)現(xiàn)的話應(yīng)該如何去做？百度新聞中，每條信息都會(huì)顯示有多少條重復(fù)數(shù)據(jù)，這個(gè)應(yīng)該是百度抓取的每個(gè)頁面的正文部分吧。所以這個(gè)功能是可能實(shí)現(xiàn)的。抓回一個(gè)頁面的數(shù)據(jù)，如何匹配出正文部分，鄭曉在下班路上想了個(gè)思路是：1...
寫的一個(gè)爬蟲練習(xí)，目的是抓取目標(biāo)站點(diǎn)下所有鏈接， 并記錄下問題鏈接url（包括問題url，入口鏈接，http狀態(tài)碼）?？梢宰孕性O(shè)置線程數(shù)量，程序開啟一個(gè)子線程來維護(hù)當(dāng)前線程數(shù)量。之前還好點(diǎn)兒，現(xiàn)在是越改bug越多，問題越多。目前發(fā)現(xiàn)的問題有：1.線程的管理上，之前用傳統(tǒng)的方法，三個(gè)for循環(huán)來創(chuàng)建固定數(shù)量線程，不過發(fā)現(xiàn)如果某線程拋出異常后，線程終止，總線程數(shù)就會(huì)減少。所以自己改成了...