4.1.Introduction

• 網路爬蟲系統可分三部分:

  • web connector: 負責對website發出request以及接受及response

    • requests module

  • data parser: 負責分析web connector所收到的response, 得到有用的information

    • beautifulsoup4 module

  • data center: 將分析所得的information儲存到database