資料工程師

薪資範圍:50,000 ~ 60,000 TWD / month

公司名稱: QSearch

▋職務內容

1. 於雲端平台或本地端開發高速分散式爬蟲系統

2. 解析並收集多種網頁或平台的資料，包含但不限於：社群媒體、影音、新聞、論壇、部落格及內容網站等

3. 維持爬蟲系統運作，排除相關障礙，包括反爬蟲機制的研究及突破

4. 持續優化爬蟲系統之效能、效率及穩定度

5. 與其他夥伴協作，完成 API 開發、撰寫技術文件等工作

註：雲端平台主要運用 Google Cloud Platform (GCP)產品及服務，部分為 Amazon Web Service (AWS)

▋條件要求 Requirement

1. 具 1 年以上運用 Python 的經驗

2. 具備運用 Python 進行網路爬蟲的經驗，有開發定期/長時間爬蟲經驗為佳

3. 熟悉 HTML/XML、 CSS、Javascript 架構

4. 熟悉 HTTP、Web API 機制

5. 具備基本 SQL 操作知識及經驗

6. 具備基本 Unix-Like 操作指令

7. 具備基本 git 操作知識及經驗

▋加分條件

1. 曾使用雲端工具例如 GCP 或 AWS

2. 曾使用 Python Web Framework ，例如 Flask, webapp2 的經驗

3. 曾使用自動化測試/部署(CI/CD)工具，例如 Cloud Build 或 GitLab

4. 曾使用Docker建立image及部署container的經驗

5. 曾使用 Data Pipeline 管理工具，例如 Airflow 的經驗

6. 曾使用 Python 套件串接資料庫系統，例如 mysql-connector 或 PyMySQL

7. 曾參與開源程式碼開發

公司地址:

其他: