Skip to content

Latest commit

 

History

History
35 lines (25 loc) · 2.11 KB

README.md

File metadata and controls

35 lines (25 loc) · 2.11 KB
Raw

つかいかた

scrapy crawl scrap -a url="<いい感じのurl> -a depth="<適当な深さ> -o dist/<いい感じのファイル名>.jsonl"

e.g.: scrapy crawl scrap -a url="https://qiita.com/" -a depth=0 -O dist/data.jsonl

動いてほしい（希望的観測） 僕のとこでは動いた

Tips: 形式はjsonl以外でもいい。json, csv, etc.

環境構築

  1. Pythonをインストールしてね（公式からinstallerを落とすか、Microsoft Storeで検索するのが楽、現在3.12以上じゃないと動かないよ）
  2. Poetryをインストールしてね
    1. 上のリンクは公式のインストーラーだよ
    2. 見るのがめんどくさい人は(Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -をPowershell上で叩いてね
    3. 無事インストールできたら%APPDATA%\pypoetryを環境変数に追加してね。僕らの界隈ではよく「パスを通す」って表現するよ
    4. WSLを使ってる人はdocs読みつつ別個対応してね
  3. このリポジトリをローカルにクローンしてね（下参照）
  4. クローンしたディレクトリに入ってpoetry installを叩いてね
  5. とりま完成！

参考文献、リンク

  • Python: Python is a programming language that lets you work quickly and integrate systems more effectively.
  • Scrapy: A Fast and Powerful Scraping and Web Crawling Framework
  • Poetry: Python packaging and dependency management made easy
  • etc.

git clone https://github.com/Desert-sabaku/scrap.git

cloneしたディレクトリ内でgit pullを叩くとクラウドにアップされた変更がローカルにも反映される。

vscodeの話

vscodeはエディター(editor)の一種。ググってインストールしてください。ただのエディターではなくいろいろ機能がついている。git管理が楽でいい。