ラズパイ4で取ったセンサーデータをAthenaからMetabaseで可視化してみた

 前回の続きです。
 AWS IOTで、ラズパイで取得したセンサーのデータを定期的にPublishするようにしていましたが、実際のベランダに各センサーを配置してみました。
 いろいろ考えた結果、ベランダに電源を引いてラズパイを置くのでは無く、ラズパイは室内に配置、長いリボンコードをエアコンホースの口からベランダへ引くという形になりました。
 リボンコードの加工が面倒でしたが、これならエアコンホースのふたを加工したりしなくても一応大丈夫そうです。

 で、折角データを取得しているんですから、データを可視化してみたくなるものです。AWSにも色々BIサービスがあるようですが、趣味の範囲なので、コストを掛けず導入が容易そうなMetabaseでやってみます。

 MetabaseにAthena用のドライバーは標準では含まれていませんが、有難い事にこちらからJarを取得してプラグインのディレクトリに配置するだけで、簡単にAthenaにアクセス出来るようになりました。

 グラフになると入ってくる情報が違いますね。左軸は温度、湿度、右軸は照度、土壌水分です。温度・湿度センサーの値が取れずゼロになるのが回避できていないのが解ります。照度は明るいと数値が小さく、真っ暗で255になっています。また、湿度は夜高くなり、温度は朝の直射日光で40度になる時間帯があるようです。土壌水分は水やりの都度だいぶ数値的にはぶれるようで扱いが難しそうです。

 Metabaseは簡単に起動させられますが、メモリが1Gは無いと動かない模様、EC2等クラウドで動かすにはコストがネックになるので、結局、ラズパイ自身で動かす事になってしまいました。4Gメモリのラズパイ4なので早くは無いですが、十分動作します。

 こうなると、AWS IOT使っている意味無い気もしますが。。

ラズパイ4で各センサーを試してAWS Iotにpublishしてみた

 前回の続きで、今度はKEYESTUDIOスターターキットに含まれていた各センサーを試してみます。
 まず、温度湿度センサーですが、キット付属のセンサーはDHT11というモノ、サイトのコードはパット見pythonに変換するのが面倒なので、下記を参考にしました。


 簡単に温度と湿度の値が取れましたが、たまにゼロのケースがあるようなので、正しく計測するにはちょっと考慮が必要ですね。

 次は土壌水分センサーです。キットのサイトを参考に、I2Cを有効にし、Cのソースをそのままpythonに置き換えてすぐに値が取れるようになりました。

 キット付属の照度センサーとかも指定するpinを変えるだけで取れました。ただ、照度センサーの場合はキット付属の3種の抵抗から1つを使用するのですが、3種の違いが見た目で解らず、配線が厄介です。
 
 使えそうなセンサーの値が取れるようになったので、これらを定期的にAWS Iotにpublishする事で最適な水やりタイミングを分析出来るようにしてみました。データはCSV形式でこんな感じです。

2020-04-19 00:05:11.97121800,19.3,49.0,134,254

 データは、日時、温度、湿度、土壌水位、照度をAWS Athenaのクエリーで取れるようにしておきます。

 Athenaでは、日時をtimestamp型にする場合、ミリ秒を8桁にしないとデータとして認識しないようなので、無理やりゼロを付けてます。ただ、AthenaではタイムゾーンをJSTとして扱うのが面倒な感じなので、無理にtimestamp型にしなくてもよかったかも?

なお、AWS IOTからS3バケットへの格納するキーは、

${clientid()}/${parse_time("yyyyMM", timestamp(), "Asia/Tokyo")}/${parse_time("dd", timestamp(), "Asia/Tokyo")}/${timestamp()}.csv

のように年月と日付をディレクトリにして、あとでログ管理をしやすくしておきます。ま、この程度ならS3もAthenaも当面コストほとんどゼロでいけるでしょう。

 これで各センサーの値によって水やりを制御する形が大体出来てきました。が、最後に肝心な水やり制御方法をどうするかについては、まだ検討中です。。

ラズパイ4でKEYESTUDIOスターターキットを試してみた。

 自動水やりを目指して購入したRaspberryPi4ですが、今回の目的に使えそうな下記のキットを購入しました。


使う予定なのは、サーボと温度・湿度、土壌湿度センサーでしょうか。ラズパイも電子工作も素人なので、まずは各パーツを試していきます。


 LABISTS Raspberry4のケースには合わないですが、とりあえず、GPIO-PCF8591 Shieldを取り付けて、使用するパーツを指してみます。

 最初に、サーボを試してみます。KEYSTUDIOのサイトですが、C言語ですね。。お久しぶりです。pythonでやりたいところですが、まずは動作確認でキットのサイトにあるコードをそのままやってみます。下記はMakefileです。


Servo:Servo.o
gcc Servo.c -o Servo -lwiringPi

 Makefileのタブが曲者ですね。


pi@raspberrypi:~/lesson/19 $ ls
Makefile Servo.c
pi@raspberrypi:~/lesson/19 $ make
cc -c -o Servo.o Servo.c
gcc Servo.c -o Servo -lwiringPi
pi@raspberrypi:~/lesson/19 $ ls
Makefile Servo Servo.c Servo.o

 コンパイル出来たようです。


pi@raspberrypi:~/lesson/19 $ sudo ./Servo

 、、、うんともすんとも動きませんね。。。


pi@raspberrypi:~/lesson/19 $ gpio readall
Oops - unable to determine board type... model: 17

 gpioが使えていないようです。インストールはされているようですが、


pi@raspberrypi:~/lesson/19 $ dpkg -l wiringpi
要望=(U)不明/(I)インストール/(R)削除/(P)完全削除/(H)保持
| 状態=(N)無/(I)インストール済/(C)設定/(U)展開/(F)設定失敗/(H)半インストール/(W)
|/ エラー?=(空欄)無/(R)要再インストール (状態,エラーの大文字=異常)
||/ 名前 バージョン アーキテクチ 説明
+++-==============-============-============-===================================
ii wiringpi 2.50 armhf The wiringPi libraries, headers and

 どうやら、バージョンが対応していないようです。コチラを参考にさせて頂き、バージョンアップしてみます。


pi@raspberrypi:~/lesson/19 $ gpio readall
+-----+-----+---------+------+---+---Pi 4B--+---+------+---------+-----+-----+
| BCM | wPi | Name | Mode | V | Physical | V | Mode | Name | wPi | BCM |
+-----+-----+---------+------+---+----++----+---+------+---------+-----+-----+
| | | 3.3v | | | 1 || 2 | | | 5v | | |
| 2 | 8 | SDA.1 | IN | 1 | 3 || 4 | | | 5v | | |
| 3 | 9 | SCL.1 | IN | 1 | 5 || 6 | | | 0v | | |
| 4 | 7 | GPIO. 7 | IN | 1 | 7 || 8 | 1 | IN | TxD | 15 | 14 |
| | | 0v | | | 9 || 10 | 1 | IN | RxD | 16 | 15 |
| 17 | 0 | GPIO. 0 | IN | 0 | 11 || 12 | 0 | IN | GPIO. 1 | 1 | 18 |
| 27 | 2 | GPIO. 2 | IN | 0 | 13 || 14 | | | 0v | | |
| 22 | 3 | GPIO. 3 | IN | 0 | 15 || 16 | 0 | IN | GPIO. 4 | 4 | 23 |
| | | 3.3v | | | 17 || 18 | 0 | IN | GPIO. 5 | 5 | 24 |
| 10 | 12 | MOSI | IN | 0 | 19 || 20 | | | 0v | | |
| 9 | 13 | MISO | IN | 0 | 21 || 22 | 0 | IN | GPIO. 6 | 6 | 25 |
| 11 | 14 | SCLK | IN | 0 | 23 || 24 | 1 | IN | CE0 | 10 | 8 |
| | | 0v | | | 25 || 26 | 1 | IN | CE1 | 11 | 7 |
| 0 | 30 | SDA.0 | IN | 1 | 27 || 28 | 1 | IN | SCL.0 | 31 | 1 |
| 5 | 21 | GPIO.21 | IN | 1 | 29 || 30 | | | 0v | | |
| 6 | 22 | GPIO.22 | IN | 1 | 31 || 32 | 0 | IN | GPIO.26 | 26 | 12 |
| 13 | 23 | GPIO.23 | IN | 0 | 33 || 34 | | | 0v | | |
| 19 | 24 | GPIO.24 | IN | 0 | 35 || 36 | 0 | IN | GPIO.27 | 27 | 16 |
| 26 | 25 | GPIO.25 | IN | 0 | 37 || 38 | 0 | IN | GPIO.28 | 28 | 20 |
| | | 0v | | | 39 || 40 | 0 | IN | GPIO.29 | 29 | 21 |
+-----+-----+---------+------+---+----++----+---+------+---------+-----+-----+
| BCM | wPi | Name | Mode | V | Physical | V | Mode | Name | wPi | BCM |
+-----+-----+---------+------+---+---Pi 4B--+---+------+---------+-----+-----+

 Cのサンプルが動くようになりました。

 Cのコードをそのまま、pythonに書き換えます。


pi@raspberrypi:~ $ sudo python3 Servo.py
Traceback (most recent call last):
File "Servo.py", line 2, in
import wiringpi as w
ModuleNotFoundError: No module named 'wiringpi'

 ライブラリが足りてませんでした。。


pi@raspberrypi:~ $ pip3 install wiringpi
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Collecting wiringpi
Downloading https://files.pythonhosted.org/packages/06/bf/7c4ec17172f72917707dddeacfa02eae80b56ad3b7b5674a4258e62b2f5a/wiringpi-2.60.0-cp37-cp37m-linux_armv7l.whl (285kB)
100% |????????????????????????????????| 286kB 495kB/s
Installing collected packages: wiringpi
Successfully installed wiringpi-2.60.0

 実行してみます

pi@raspberrypi:~ $ python3 Servo.py

 お、カチャカチャと動きだしました。細かい制御は難しそうなので後回しに、、

 次は温度・湿度センサーです。

ラズパイ4のモバイルバッテリー稼働時間を計測してみた

 ここ数年、ベランダで育てている野菜等を今年こそまともに収穫したいなあと、水やり自動化を検討していました。
 いろいろネットをみていると、arduinoやRaspberry Piで実現している例が多数あり、拡張性が高そうだし、仕事ではあまり使う機会が無いPythonの学習にもなるかとRaspberry Pi4でやってみようと、こちらがちょっと安くなっていたので買ってみました。

 到着後、ボードをケースにねじ止めし、ヒートシンクを張り、OS入りのSDメモリを指し、USBキーボードを接続、有線LANを指し、HDMIでテレビに接続、電源を入れただけで簡単にデスクトップが表示されました。

 普通にサクサク動くパソコンです。ただ、ファンのピンの指し方が間違っているのか壊れているのか動きません。。
 
 今回の目的としてはベランダにラズパイを置く事になるのですが、残念ながらベランダにコンセントはありません。そこで、まずモバイルバッテリーでどの程度稼働するのかを確認してみました。デスクトップから無線LANの設定をして、BluetoothはOff、デスクトップは使わないのでCLIのみに設定し、VNCサーバは起動しないようにして、以後は別のPCからSSHでログインして操作する形にします。

 適当に10分おきにログ出力するpythonを書いて、何年も使っているダンボーのモバイルバッテリー 10400mAh で確認した結果、750分=12時間30分でした。HDMI出力オフ(tvserviceコマンド)すると、さらに100分持ちましたが、これではどうにもなりません。水やりが自動化されても、毎日バッテリー変えていたら本末転倒ですし、、

 色々調べましたが、モバイルバッテリーでラズパイをほぼ常時動作させるのは、ほぼ無理っぽいです。素直にベランダへコンセントを通すしか手は無いですね。

eLTAXから住民税の特別徴収を納税してみた

 既に殆どの納税がeTax等でネットから出来るようになっているのですが、一つだけ、出来ていなかったのが住民税の特別徴収でした。
 これは法人が従業員の代わりに市区町村へ毎月納税するものなのですが、毎月するものなので、小さい法人にとってはこれが一番面倒な納税です。
 基本的に振込金額は1年で決められており、市区町村から1年分纏めて送られてくる毎月分の振込用紙を使い、毎月の納付期限付近に金融機関に行って振り込んだりしていたのですが、去年からやっとeLTAXで納税がしやすくなったようですので、そろそろeLTAXから納税する事にしました。

 eLTAXのPC用アプリであるPCdeskから納税するのですが、筆者は既にPCdeskを使っているので、今回はアップデートだけです。以前は本当に使い勝手の悪いアプリだったのですが、だいぶ良くなったようです。

 まず金融機関の登録が必要なので、PCdeskの納税メニューから口座情報の登録を行います。っと言っても、口座情報を画面に入力すると申込書を印刷して捺印し郵送という形です。郵送後、1週間くらい経ってPCdesk宛に登録通知メッセージが届きます。これで準備完了です。

 で、実際の納税ですが、納付情報発行依頼という画面から、届いている振込用紙を元に金額等を入力し、登録。その後、納税操作を行うという内容で、即時口座から引き落としされてました。

 これで納税の為に銀行に行く手間が無くなり便利になりました。が、このPCdeskの画面に出てくる「納付情報発行依頼」って言葉、なんでこんな表記なんですかね?裏で何をやっているのか解らないですが、もう少し利用者目線の表記にしてくれませんかね?

Springboot Securityのログイン画面がいい感じになっていた

 Springbootで作ったアプリを、そろそろユーザーに渡そうかというタイミングになりましたが、Springbootのバージョンが結構更新されているので、今更ながら最新に入れ替えてみました。
 それまでフレームワークは、spring-boot-starter-parentの2.0.1.RELEASEを指定していましたが、今見ると2.1系の次に2.2系が既に出ています。
 コードに影響があれば、そこまで最新にしなくてもいいかととりあえず2.2.4を試したところ、特に問題が無かったのでチェンジ。
 今回のアプリはsecurityのデフォルトログイン画面を使っていたのですが、更新したところ画面が変わりました。どうやら2.1から既に変わっていたようです。

2.0系はこれ

2.1系overはこれ

2.0系の見ためがしょぼいのでカスタマイズしようか考えましたが、中央寄せのいい感じのUIに変わってました。これならそのままでも違和感無いですね。

アプリの動作確認は終了、最後に、バージョンアップでこんな警告が出るようになったみたいなので、
2020-02-27 14:09:12 WARN JpaBaseConfiguration$JpaWebConfiguration spring.jpa.open-in-view is enabled by default. Therefore, database queries may be performed during view rendering. Explicitly configure spring.jpa.open-in-view to disable this warning

出ないようにapplication.ymlに追加

受け渡し準備OKです。
でもjarのファイルサイズはどんどん肥大化してます。。

カテゴリー: Java

Mavenインストールが失敗するようになった

SpiringBootで作成中のツールにちょっと機能が漏れていたので、pom.xmlにライブラリを追加したところ、ダウンロード出来ませんとの事。

mavenリポジトリから501が応答されているのですが、何か変わったのでしょうか?
試しに、ブラウザ越しに上記のDownload URLをたたくと下記の応答

501 HTTPS Required.
Use https://repo.maven.apache.org/maven2/
More information at https://links.sonatype.com/central/501-https-required

httpsにしなくちゃいけないって事?

ちょっと調べると下記を発見。

今時当たり前なのですが、Mavenリポジトリがhttpsのみに変わったようです。

Mavenツールが古いからかな?とまずeclipse(marsを今でも使用中)から更新の確認を実行してもダメ。
インストールの詳細からm2e Eclipse用Maven統合 を更新してもダメでした。

上記リンクに、pom.xmlで設定するのは例が書かれていますので、有難くこれで一旦解決には出来ますが、プロジェクト個別設定でなくて全体的にどうにかならないの?と、.m2に置いてあるsetting.xmlの設定で対応してみます。

結果、リポジトリ設定ではうまくいかず、ミラーの設定をしてみると、ちゃんとライブラリをダウンロードしてくれるようになりましたが、
初回はミラーから全てのライブラリをダウンロードしようとするようなので、とりあえずはpom.xmlで個別に対応した方がいいかもしれません。

後日、別環境で使っているeclipseで確認したところ、比較的新しいeclipseでは特に問題が無かったようです。どうやら、古いバージョンのeclipseだけ対応出来ないようです。

カテゴリー: Java

redmineでライフログ的記録を取る

 毎年1月になると法人として法定調書を提出する必要があるのですが、年に1回だけのイベントなので、翌年になるとどのように手続きしたかをすっかり忘れて困った事になってしまいます。。
そこで、数年前から後で困らないようにとredmineで備忘録的に記録する事にしました。

今の所、決算期毎にプロジェクト分け、「タスク」という簡単なトラッカーを用意し、期日管理しつつ記録を取っていくという感じです。備忘録が目的なので進捗管理とかは考えていません。

これで、毎回その時が来る度に調べたり考えたりしないでもスムーズに進める事が最近は出来てきたように思います。

で、他にもこういう記録を取っておきたいな、と思ったのが本を読んだ記録です。何を読んで、どうだったかが全く記憶に残せないクチなので、ちょっとしたメモレベルでよいので記録を取る事にしました。

これで、ちょっとは思い出せそうですが、最近たいして読んでないなとも気付かされます。
他にも株式投資をする時にこの銘柄がいいと思ったのは何だったかを検討開始時や購入時に記録しておくとか、ベランダ植物の栽培記録とかもしてましたが、将来的なメリットを感じられないでただ記録しているような内容だとあまり続かないですね。栽培記録は最初だけで止まってます。。

個人的なredmineサイトなら、こんな感じのテーマ事に分類された手動ライフログツールとしても使えるので重宝してます。

w2uiでテーブルメンテナンス画面を作ってみる

SpringBootで作っているアプリに、テーブルメンテナンス画面が必要になったので、w2uiで作ってみる事にしました。


テーブルメンテナンス画面といえば、一覧表示があって、選択したら登録フォームが表示されて、とか基本的な構成はどのテーブルも似たようなものですよね。w2uiのグリッドとフォームを使い、使いまわし出来るようjavascriptに機能を纏め、html側にテーブル固有の個別設定を寄せる事で、いろんなテーブルに対応出来るような形にしていきます。
w2uiのformは、urlを指定するとthis.save()でフォームをPOSTしてくれるようなのですが、ちょっと扱いにくいのでsaveを使わずにjsonでPOSTするようにしました。

eclipse上のリソース構成はこんな感じです。

javascriptです。ちょっと変更後のUIの動きがアバウトではありますが。。

htmlにはjsで定義済の要素とか変数を載せます。メンテ対象のテーブルが増えた場合を考慮しツールバーも入れてます。なお、項目の設定はw2uiのドキュメントを見ながら調整していきますが、結構融通が利きますね。

最後にというか、本来なら最初にですがSpringBoot側は、w2uiの項目名と一致するエンティティクラス(ここではCustomer)と、CrudRepositoryを継承したインターフェースCustomerRepositoryを用意し、RESTコントローラーからアクセスさせるようにします。

で、出来た画面です。

なお、今回セキュリティ要件は考慮していません。。

カテゴリー: Java

msg形式のメールファイルをemlファイルに変換する

 数年前にjavamailで作ったメールを受信した後の業務を自動化するツールを、今でもいろいろ機能追加をしているのですが、機能を追加・変更する時に、利用者から対象のメールをemlで提供してもらってテストしています。
 でも、outlookユーザーはmsgでしか提供出来ませんというので、emlへ変換したいのですが、ネットに転がってるツールを使ってもイマイチ変換できません。。
 なら作ろうと調べた所、javaならjotlmsgというのがあったのですが、日本語が文字化けします。
 結局、apache poiでoutlookのmsgを扱えるようなので、msgファイルを読み込んでemlファイルへ出力するという形にしました。

 実行時の引数を、msgファイルを入れたパス、emlファイルを吐き出すパスで指定します。

 何件かのmsgファイルを試した所、htmlで取れるケースが無かった。。メソッド的にはあるはずなのに。。
 その為、完全にemlファイルで再現出来るというレベルにはなりませんでしたが、本文テキストと添付ファイルはemlファイルに出力できているので、まあここまででよいかと。

カテゴリー: Java