概要 Scrapyで使っているSQLAlchemyの実装について 内容 現在、Scrapyを使用しニュースさいとをスクレイピングしデータを取得をしているのですが、 せっかくなので、itemから登録る箇所でいままでくわず嫌いをしていたSQLAlchemyを使ってみることにしました。 ディレクトリ構成 |-- scraper |-- items |-- news.py |-- models |-- concerns |-- 共通処理 |-- base.py |-- article.py |-- spiders ※本来必要な__init___.pyは省略していますので注意してください。 基本的には、 base.py: 共通の基底オブジェ …
Read More