抓取摩拜單車車輛位置數(shù)據(jù)
作者: 鄭曉 分類: Python 發(fā)布于: 2017-07-25 12:10 瀏覽:48,382 評論(15)
每天從下車站到公司還有好幾米的路要走,這對于現(xiàn)在能免費騎車的懶癌患者怎么能忍?車站人流量大,能找到輛車實屬不易,所以就得在下公交車前不停的刷新app查看下車點是否有車,有車就馬上預訂。
一路上不停的拿著手機刷新太麻煩了,身為碼農(nóng)怎么能忍?我這里要實現(xiàn)的就是把刷新查看目的地是否有車的這個過程實現(xiàn)了自動化。
實現(xiàn)思路是首先找到摩拜單車在地圖上標記車輛位置的這個接口,然后想辦法使用程序模擬這個請求,從獲得的車輛數(shù)據(jù)中檢查是否有符合的車輛,如果有則發(fā)送提示消息。
使用的抓包工具是charles,它可以很輕松的獲取到移動設備的數(shù)據(jù)請求,具體使用方法不做介紹,請百度。
開始時是使用charles開啟ssl代理,抓取手機上摩拜單車app的請求,摩拜的每個https請求都是unknow(http method是connect),看錯誤提示應該是證書的問題,但手機上其它的https請求是正常的(比如京東),網(wǎng)上的說法是使用了http隧道通信,代理工具無法抓取。
app無法抓包,轉(zhuǎn)戰(zhàn)微信小程序,在摩拜的微信小程序中查看附近車輛時,charles成功抓取到車輛位置的api(nearbyBikeInfo.do)
知道了api后就可以很輕松的模擬出請求,這里使用了python+requests進行post請求。多次測試發(fā)現(xiàn)header中有些看似很關(guān)鍵的參數(shù)其實不必要的,所以這里已經(jīng)移除。
#coding=utf8
#yjfs.org.cn
import requests
headers = {
"Host": "mwx.mobike.com",
"time": "1500887680",
"eption": "bb15c",
"open_src": "list",
"platform": "3",
"citycode": "0532",
"User-Agent": "Mozilla/5.0 (iPhone;yjfs.org.cn; CPU iPhone OS 10_3_2 like Mac OS X) AppleWebKit/603.2.4 (KHTML, like Gecko) Mobile/14F89 MicroMessenger/6.5.12 NetType/WIFI Language/zh_CN",
"lang": "zh",
"Referer": "https://servicewechat.com/wxxxxxxxx/70/page-frame.html"
}
body = {
"longitude":"120.413333",
"latitude":"36.087741",
"citycode":"0532",
}
r = requests.post("https://mwx.mobike.com/mobike-api/rent/nearbyBikesInfo.do",data=body, headers=headers, verify=False);
print r.text.encode('utf-8')
注意,代碼有改動:)
成功返回json數(shù)據(jù)。
格式化后,數(shù)據(jù)很清晰明白,接口返回查詢的坐標周圍有幾輛車,并包含有每輛車的編號、坐標和與目標坐標的相對距離等信息。
接下來要做的就是從數(shù)據(jù)里過濾出比較近的車輛(distance的單位是米,值可按自己的需求定),并給出提示消息。提示消息推送可以使用pushbullet這類工具,實現(xiàn)也很方便。更復雜點兒可以距離坐標計算一下每個車輛在目標位置的哪個方向。這里就不實現(xiàn)了~
完。
本文采用知識共享署名-非商業(yè)性使用 3.0 中國大陸許可協(xié)議進行許可,轉(zhuǎn)載時請注明出處及相應鏈接。
本文永久鏈接: http://yjfs.org.cn/crawl-mobike-location.html
厲害了