概要 Scrapyで使っているSQLAlchemyの実装について 内容 現在、Scrapyを使用しニュースさいとをスクレイピングしデータを取得をしているのですが、 せっかくなので、itemから登録る箇所でいままでくわず嫌いをしていたSQLAlchemyを使ってみることにしました。 ディレクトリ構成 |-- scraper |-- items |-- news.py |-- models |-- concerns |-- 共通処理 |-- base.py |-- article.py |-- spiders ※本来必要な__init___.pyは省略していますので注意してください。 基本的には、 base.py: 共通の基底オブジェ …
Read MoreDjangoを再学習
Apr 10, 2020 Django記載内容 数年前に一度Djangoを触れて久方ぶりに触って便利だと思ったことなどを、随時メモしていきます。 環境 Python 3.6.5 Django 3.0.5 pipenv version 2018.10.13 拡張ライブラリ django-extensions 私自身仕事ではRailsを使っているので、rails routesのようなものがないか探していました。 django-extensionsを入れると、同じようなことが可能になります。 https://github.com/django-extensions/django-extensions インストール pipenv install …
Read More