爬蟲如何識別網(wǎng)頁的正文部分？

比如寫一個python爬蟲去抓百度搜索結(jié)果列表中的網(wǎng)頁數(shù)據(jù)， 然后從這些網(wǎng)頁中提取出正文部分（比如新聞資訊的文章部分），是否可以實現(xiàn)？能實現(xiàn)的話應該如何去做？

百度新聞中，每條信息都會顯示有多少條重復數(shù)據(jù)，這個應該是百度抓取的每個頁面的正文部分吧。所以這個功能是可能實現(xiàn)的。

抓回一個頁面的數(shù)據(jù)，如何匹配出正文部分，鄭曉在下班路上想了個思路是：

1. 提取出body標簽部分–>剔除所有鏈接–>剔除所有script、注釋–>剔除所有空白標簽(包括標簽內(nèi)不含中文的)–>獲取結(jié)果。

2. 直接匹配出非鏈接的、 符合在div、p、h標簽中的中文部分？？？

還是會有不少其它多余信息啊，比如底部信息等。。 如何搞？不知道大家有木有什么思路或建議？