概要 ローカルから手動でブログのアップをしていたのを、CircleCIに載せ替えたのでそのメモ 構成 完成形 とりあえず、最終形を記載するとこんな感じ 環境変数として、AWS側で使ってるCloudFront、S3、デプロイするためのロールのキーを環境変数に入れてる。 BUCKET_NAME CF_DISTRIBUTION_ID AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEYdd version: 2.1 jobs: build: docker: - image: cibuilds/hugo:latest steps: - checkout - run: name: "Up …
Read More概要 以前記載した、ECRについての記事で取得したタグを使って、 プルダウンを用意し後続に繋げるためのJobを作ったのでメモを残しておく。 内容 注意) 値はECRの返却の想定値を使ってるので、別の形式の場合は合わせて修正を行って欲しい 実行環境 docker image: jenkins/jenkins:lts jenkins:2.249.1 java:1.8 記述: groovy piplineの内容 import groovy.json.JsonSlurper pipeline { agent any stages { stage("get tags"){ steps { …
Read More概要 circle ciでブログの更新をする際に少し詰まったところを記載する 内容 デプロイであげたファイルが正しくないと言われるので、試したこと ファイル検証 コマンドインストール どうも調べるとcircle ciのコマンドで、ファイルの検証ができるっぽのでインストールを試みる。 $ curl -fLSs https://circle.ci/cli | bash curl: (16) Error in the HTTP2 framing layer 無事失敗。。。。 公式を見るとbrewでのインストール方法があったので、迷わずbrewでインストールをする brew install circleci 試して見る限り問題なく入っている …
Read More概要 タイトルの通り、AWS ECRにプッシュしてあるタグのリストを取得する 内容 ECSにデプロイする際にJenkinsからタグを指定してデプロイしたいと思った時に、ECRからのタグのリストが欲しかった。 コマンド aws ecr --profile [your_profile_name] \ list-images --repository-name your_repository_name \ --query "imageIds[].imageTag" \ --output json ポイント --query "imageIds[].imageTag" 公式のものだが、取得すると以下のよう …
Read More毎日学習記録 9/10 Excelメモ part2
Sep 10, 2020 学習記録概要 時系列情報を表に変換する方法について 内容 よく図のように時系列情報にカテゴリと数量があり、そのデータをカテゴリごとの時系列に変換したい場合があります。 やり方 1. カテゴリをヘッダーにするため、重複を削除する まず、カテゴリを別の場所にコピーする。ここでは、同一シート内だけど実際の作業では別シートが良い。 データ > 重複を削除を押して削除を行う。すると以下のように重複を削除してくれる ※この時、同一シート内だと間違えて他の箇所を削除するので注意 重複が削除できたら、行列の入れ替え貼り付けでヘッダーとする 2. 日付のラベルを作成する 先ほどのヘッダーの先頭一行目を空けて、時刻の列から丸ごとコピーする これも、ヘッ …
Read More毎日学習記録 9/9 Excelメモ
Sep 9, 2020 学習記録概要 Excelの関数について、最近よく使うものをメモ 内容 時間関連 以下の形式の時刻を、文字列から時刻として取り込みたい 日付形式 2020-09-09T22:30:00.000+09:00 関数 =DATEVALUE(MIDB(A2,1,10))+TIMEVALUE(MIDB(A2,12,8))+RIGHT(A2,5) 処理としては、3つの関数でそれぞれ日付、時刻、タイムゾーンを取得して、足し込んだ結果になります。 DATEVALUE: 1文字目から10byte切り取って得た、日付文字列をDATEVALUEに入れて日付に変換 TIMEVALUE: 12文字目から8byte切り取って、TIMEVALUE …
Read More概要 今日は特にやることがなかったのですが、テーマをpaperからclarityに変更いたしました。 少しブログ風の見た目にしたかったので、すでに出来上がってるclarityが良いと思い変更した次第です。
Read More概要 ブログテンプレート変更 内容 テンプレート変更で少し手こずったところがあるのでメモ 設定前のテンプレートは、paperを使用していたが、もう少しブログっぽい見た目にしたいと思ったので、変更作業をおこなった。 ただ、hugo自体ほとんど勉強していなかったので1時間ほど設定にかかってしまったのと、ほとんど情報がなかったのでメモしておこうと思う。 採用したテーマ シンプルだけど結構見た目がよかったこちらを採用 https://themes.gohugo.io/hugo-clarity/ インストール方法 独自に書き換えたりなどするつもりはないので、一旦はそのままクローンする。 気が向いたら、サブモジュールに切り替えていく予定。 …
Read More毎日学習記録 9/5 docker-composeのコマンドおさらい
Sep 6, 2020 学習記録概要 docker-composeのコマンドおさらい 内容 よく使うコマンドだけど、upコマンド以外あまり実行しないので今一度みていこうと思う 起動 $ docker-compose up -d Starting mysql_host ... done Starting docker_application_1 ... done いつも使うコマンド、-dをつけるとバックグラウンドでの実行となる また、コンテナが起動中に-dをつけて実行した場合は、設定反映のために停止/再生成が行われる upについての補足 docker-compose upは挙動としてはビルドと起動を同時に行なっており、ビルドしたものがある場合は最新のビルドを利用し …
Read More概要 Scrapyで使っているSQLAlchemyの実装について 内容 現在、Scrapyを使用しニュースさいとをスクレイピングしデータを取得をしているのですが、 せっかくなので、itemから登録る箇所でいままでくわず嫌いをしていたSQLAlchemyを使ってみることにしました。 ディレクトリ構成 |-- scraper |-- items |-- news.py |-- models |-- concerns |-- 共通処理 |-- base.py |-- article.py |-- spiders ※本来必要な__init___.pyは省略していますので注意してください。 基本的には、 base.py: 共通の基底オブジェ …
Read More