在眾多的資料分析專案中,不動產實價也是很常被拿來分析的主題,那想要利用Python網頁爬蟲蒐不動產的資料,除了可以爬取網站上的資料之外,地方政府也有透過OpenAPI來提供各種不同的開放資料(OpenData),讓大家進行多元的分析或應用。這篇文章就來和大家分享,如何利用Python網頁爬蟲爬取 臺北市資料大平臺上的不動產實價開放資料 。 開放資料(OpenData)存取方法 Python網頁爬蟲存取 開放資料(OpenData) Python網頁爬蟲爬取開放資料(OpenData) 一、開放資料(OpenData)存取方法 前往 臺北市資料大平台 ,如下圖: 在搜尋的地方輸入「臺北市實價周報」,就可以找到臺北市不動產實價周報的開放資料(OpenData),如下圖: 點擊之後,可以看到它的資料描述、欄位說明等,那存取方式就在最下面的地方,分別提供下載CSV檔案資料、API、預覽資料集,而想要利用Python網頁爬蟲爬取不動產的實價資料,就要選擇API的方式,如下圖: 在API的文件中,Python網頁爬蟲會需要利用API位址、API使用方式與參數來發送請求,進而爬取回應的不動產實價資料。另外,「API參數及測試」則是依需求選擇性加入的參數,如下圖: 二、Python網頁爬蟲存取 開放資料(OpenData) 瞭解臺北市不動產實價周報的開放資料API使用方式之後,就可以開啟Python網頁爬蟲專案,引用requests模組,如下範例: import requests 接下來,Python網頁爬蟲發送請求到 臺北市不動產實價周報的開放資料API,並且傳入必要的參數,如下範例: import requests # 參數 params = { "resource_id": "2979c431-7a32-4067-9af2-e716cd825c4b" } # 發送請求 response = requests.get( 'https://data.taipei/api/v1/dataset/2979c431-7a32-4067-9af2-e716cd825c4b?scope=resourceAquire', params=params ) 假設我們只想要利用Python網頁爬蟲爬取10筆的臺北