postgresで履歴テーブルから1時間毎の集計をSQLで取得する

 metabaseでpostgresデータを可視化するようにした所、履歴データが格納されているテーブルから1時間毎の集計を取りたいって事で、SQL1発で出来るんかいなと試行錯誤。

 今回の履歴テーブルはtimestamp型で開始時間と終了時間がセットされていて、誰が何をいつからいつまで実施していたかが記録されている、ような形になっています。これを1時間単位でその時間帯にどのくらい実施していたかをサマリたいという内容です。

具体的にはこんな感じでデータがあります。

selet * from xx_history ;

id, start_time, end_time, user_id, task_id
10, 2020-07-27 16:15:23, 2020-07-27 18:17:43, 432, 2
11, 2020-07-27 18:43:54, 2020-07-27 19:02:04, 154, 4
12, 2020-07-27 19:14:52, 2020-07-27 19:45:21, 432, 5
13, 2020-07-27 19:02:15, 2020-07-27 19:42:53, 154, 4

 これを下記のように1時間毎に時間を合計するような形で抽出したいという事になります。

時間範囲(XX時台), 合計時間
2020-07-27 16:00, 00:44:37
2020-07-27 17:00, 01:00:00
2020-07-27 18:00, 00:33:49
2020-07-27 19:00, 01:13:11

 履歴テーブルの開始時間と終了時間に対して、その時間帯が該当するのは、下記4つのパターンがあり、それぞれ時間の取り方が変わってくるのも面倒なトコロです。

・開始時間と終了時間がその時間範囲内
 → 開始時間から終了時間までの時間
・開始時間が時間範囲より過去だが、終了時間が時間範囲内
 → その時間範囲の開始時刻から終了時間までの時間
・開始時間が時間範囲内だが、終了時間は時間範囲より未来
 → 開始時間からその時間範囲の終了時刻までの時間
・開始時間は時間範囲より過去で、終了時間が時間範囲より未来
 → 1時間固定

 調べているとコチラを発見、postgresにはgenerate_seriesという便利なものがあるようです。

 generate_seriesで1時間毎のレコードを一定期間分生成出来るようなので、履歴テーブルとJoinしてSQLを作ります。

select time,
sum(case when xx_history.start_time >= time and xx_history.end_time <= time + interval '1 hours' then xx_history.end_time - xx_history.start_time
     when xx_history.start_time < time and xx_history.end_time >= time and xx_history.end_time <= time + interval '1 hours' then xx_history.end_time - time
     when xx_history.start_time >= time and xx_history.start_time <= time + interval '1 hours' and xx_history.end_time > time + interval '1 hours' then time + interval '1 hours' - xx_history.start_time
     when xx_history.start_time < time and xx_history.end_time > time + interval '1 hours' then time + interval '1 hours' - time
	 ELSE time - time END)
from generate_series( date_trunc('day', current_timestamp) - interval '2 days' , date_trunc('day', current_timestamp), '1 hours') as time
left join xx_history 
   on (xx_history.start_time >= time and xx_history.end_time <= time + interval '1 hours')
      or (xx_history.start_time < time and xx_history.end_time >= time and xx_history.end_time <= time + interval '1 hours')
      or (xx_history.start_time >= time and xx_history.start_time <= time + interval '1 hours' and xx_history.end_time > time + interval '1 hours')
      or (xx_history.start_time < time and xx_history.end_time > time + interval '1 hours')
group by time
order by time

 whereとCaseの条件は一緒なので、Whereの方はもっとコストをかけない条件に見直しした方がよいですね。
 実際はもっと複雑な形になるのですが、とりあえずSQL1発で出来そうな感じです。

「Twilio」で電話をかけてみた

自動で電話をかけたいな。
という話で、Twilioをトライアルしてみました。
要件としては架電して相手に日本語で要件を連絡、通話できたかを判定して・・・というところです。

Twilioにアカウントを作成し、ダッシュボードで電話番号を取得します。
DOCを参照しながら、とりあえず試すだけなので、Javaで適当に書いていきます。
基本的なところは、下記を参考にさせて頂きました。

[blogcard url=”https://qiita.com/mosin_nozomi/items/d30811022f1a19e620e0″]

SMSの発信や電話をかけるところまでは特に問題ありませんでしたが、上記サイトの内容とは現時点で変わっているのか、なかなか日本語を喋ってくれません。
あと、トライアル着信の「アカウントをアップグレードしてね」文句の後に何か押さなくてはいけないというのも暫くして気が付きました。。

どうしたら日本語を喋ってくれるのかと、ドキュメントを見ながらaliceとかを試してみたりしましたが、何かゴニョゴニョ言ってるけど何を言っているのか不明。。
結果的にダッシュボード左メニューのサービス→Programmable Voice→TwiML→テキスト音声変換のText-to-Speechという所に日本語はMizukiだと書いてあったので、やってみるとやっと喋ってくれました。ありがとうMizukiさん。

あと、TwiMLをインターネット上のURLからPOSTで取得できるようにしておく、という謎の制約もかなり厄介だったのですが、こちらも結果的に下記のようにすると必須では無かったようです。

import com.twilio.Twilio;
import com.twilio.rest.api.v2010.account.Call;
import com.twilio.type.PhoneNumber;
import com.twilio.type.Twiml;

public class Example {
    public static final String ACCOUNT_SID = "ACXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX";
    public static final String AUTH_TOKEN = "your_auth_token";

    public static void main(String[] args) throws Exception {
        Twilio.init(ACCOUNT_SID, AUTH_TOKEN);
        String callText = "お疲れ様です。了解頂けましたら、了解の旨を応答頂けますでしょうか?";
        String TwiMLstr = "<?xml version=\"1.0\" encoding=\"UTF-8\"?><Response><Say language=\"ja-JP\" voice=\"Mizuki\">"
                + callText + "</Say><Pause length=\"10\"/><Say language=\"ja-JP\" voice=\"Mizuki\">それでは宜しくお願いします。</Say></Response>";
        Twiml TwiML = new Twiml(TwiMLstr);

        Call call = Call.creator(new PhoneNumber("+81登録した電話番号"), new PhoneNumber("+取得した電話番号"), TwiML).create();

        String id = call.getSid();
        for(int i = 0 ; i < 10 ; i++){
            Thread.sleep(1000*5);
            call = Call.fetcher(id).fetch();
            if(call.getStatus() == Call.Status.RINGING ||
                call.getStatus() == Call.Status.IN_PROGRESS ||
                call.getStatus() == Call.Status.QUEUED){
                continue;
            }
            else if(call.getStatus() == Call.Status.COMPLETED){
                //着信OK
                System.out.println("Call Completed " + call.getAnsweredBy());
            }
            else{
                break;
            }
        }
        System.out.println(call.toString());
    }
}

とりあえず要件は満たせそうです。
通話判定はもっとケースが必要ですし、判定待ちをもっとましな形にしたいところですが、トライアルなのでここまで。

ランニングコストがOKになって実際に導入すると決まったら、もうちょっと調べないとですね。

カテゴリー: Java

Windows環境からLinux環境にしたらJavaプロセスが動かない

 Windows上で動作させていた既存システムの開発環境を、今回Dockerで動かす形に変えていました。
既存システムの構成上、javaプロセスを2つ立ち上げる必要があり、これまでwindows上でバッチファイルで実行していたのを適当にシェルに置き換えて実行してみましたが、下記のようなメッセージが出てプロセスが動作しません。


See http://www.oracle.com/technetwork/java/javase/documentation/index.html for more details.
/var/lib/apl/tools/lib/app-XXX-server.jar: line 1: $'PK¥003¥004': command not found
/var/lib/apl/tools/lib/app-XXX-server.jar: line 2: $'¥373^¥226P': command not found
/var/lib/apl/tools/lib/app-XXX--server.jar: line 3: ??e?y: command not found
/var/lib/apl/tools/lib/app-XXX--server.jar: line 4: syntax error near unexpected token `)'
/var/lib/apl/tools/lib/app-XXX--server.jar: line 4: `?z?z?M)?^)? {,? ?MLy?x?P]?p?PK'

 なんじゃこりゃ?

JAVA実行コマンドとしては、
java -cp resource;lib/* jp.co.esoro.app-XXX.main
のような感じです。

 暫く試行錯誤していましたが、結果的にクラスパスを複数指定するところのセパレータ「;」はWindowsだけで、Linux環境では「:」じゃないとだめというオチでした。。

カテゴリー: Java

ラズパイ4で取ったセンサーデータをAthenaからMetabaseで可視化してみた

 前回の続きです。
 AWS IOTで、ラズパイで取得したセンサーのデータを定期的にPublishするようにしていましたが、実際のベランダに各センサーを配置してみました。
 いろいろ考えた結果、ベランダに電源を引いてラズパイを置くのでは無く、ラズパイは室内に配置、長いリボンコードをエアコンホースの口からベランダへ引くという形になりました。
 リボンコードの加工が面倒でしたが、これならエアコンホースのふたを加工したりしなくても一応大丈夫そうです。

 で、折角データを取得しているんですから、データを可視化してみたくなるものです。AWSにも色々BIサービスがあるようですが、趣味の範囲なので、コストを掛けず導入が容易そうなMetabaseでやってみます。

 MetabaseにAthena用のドライバーは標準では含まれていませんが、有難い事にこちらからJarを取得してプラグインのディレクトリに配置するだけで、簡単にAthenaにアクセス出来るようになりました。

 グラフになると入ってくる情報が違いますね。左軸は温度、湿度、右軸は照度、土壌水分です。温度・湿度センサーの値が取れずゼロになるのが回避できていないのが解ります。照度は明るいと数値が小さく、真っ暗で255になっています。また、湿度は夜高くなり、温度は朝の直射日光で40度になる時間帯があるようです。土壌水分は水やりの都度だいぶ数値的にはぶれるようで扱いが難しそうです。

 Metabaseは簡単に起動させられますが、メモリが1Gは無いと動かない模様、EC2等クラウドで動かすにはコストがネックになるので、結局、ラズパイ自身で動かす事になってしまいました。4Gメモリのラズパイ4なので早くは無いですが、十分動作します。

 こうなると、AWS IOT使っている意味無い気もしますが。。

ラズパイ4で各センサーを試してAWS Iotにpublishしてみた

 前回の続きで、今度はKEYESTUDIOスターターキットに含まれていた各センサーを試してみます。
 まず、温度湿度センサーですが、キット付属のセンサーはDHT11というモノ、サイトのコードはパット見pythonに変換するのが面倒なので、下記を参考にしました。
[blogcard url=”https://github.com/szazo/DHT11_Python”]
 簡単に温度と湿度の値が取れましたが、たまにゼロのケースがあるようなので、正しく計測するにはちょっと考慮が必要ですね。

 次は土壌水分センサーです。キットのサイトを参考に、I2Cを有効にし、Cのソースをそのままpythonに置き換えてすぐに値が取れるようになりました。

import wiringpi

Address = 0x48
BASE = 64
A0 = BASE + 0
A1 = BASE + 1
A2 = BASE + 2
A3 = BASE + 3

wiringpi.wiringPiSetup()
wiringpi.pcf8591Setup(BASE, Address)
while True:
    value = wiringpi.analogRead(A1)
    print("A1:" + str(value))
    wiringpi.delay(500)

 キット付属の照度センサーとかも指定するpinを変えるだけで取れました。ただ、照度センサーの場合はキット付属の3種の抵抗から1つを使用するのですが、3種の違いが見た目で解らず、配線が厄介です。
 
 使えそうなセンサーの値が取れるようになったので、これらを定期的にAWS Iotにpublishする事で最適な水やりタイミングを分析出来るようにしてみました。データはCSV形式でこんな感じです。

2020-04-19 00:05:11.97121800,19.3,49.0,134,254

 データは、日時、温度、湿度、土壌水位、照度をAWS Athenaのクエリーで取れるようにしておきます。

 Athenaでは、日時をtimestamp型にする場合、ミリ秒を8桁にしないとデータとして認識しないようなので、無理やりゼロを付けてます。ただ、AthenaではタイムゾーンをJSTとして扱うのが面倒な感じなので、無理にtimestamp型にしなくてもよかったかも?

なお、AWS IOTからS3バケットへの格納するキーは、

${clientid()}/${parse_time("yyyyMM", timestamp(), "Asia/Tokyo")}/${parse_time("dd", timestamp(), "Asia/Tokyo")}/${timestamp()}.csv

のように年月と日付をディレクトリにして、あとでログ管理をしやすくしておきます。ま、この程度ならS3もAthenaも当面コストほとんどゼロでいけるでしょう。

 これで各センサーの値によって水やりを制御する形が大体出来てきました。が、最後に肝心な水やり制御方法をどうするかについては、まだ検討中です。。

Springboot Securityのログイン画面がいい感じになっていた

 Springbootで作ったアプリを、そろそろユーザーに渡そうかというタイミングになりましたが、Springbootのバージョンが結構更新されているので、今更ながら最新に入れ替えてみました。
 それまでフレームワークは、spring-boot-starter-parentの2.0.1.RELEASEを指定していましたが、今見ると2.1系の次に2.2系が既に出ています。
 コードに影響があれば、そこまで最新にしなくてもいいかととりあえず2.2.4を試したところ、特に問題が無かったのでチェンジ。
 今回のアプリはsecurityのデフォルトログイン画面を使っていたのですが、更新したところ画面が変わりました。どうやら2.1から既に変わっていたようです。

2.0系はこれ

2.1系overはこれ

2.0系の見ためがしょぼいのでカスタマイズしようか考えましたが、中央寄せのいい感じのUIに変わってました。これならそのままでも違和感無いですね。

アプリの動作確認は終了、最後に、バージョンアップでこんな警告が出るようになったみたいなので、
2020-02-27 14:09:12 WARN JpaBaseConfiguration$JpaWebConfiguration spring.jpa.open-in-view is enabled by default. Therefore, database queries may be performed during view rendering. Explicitly configure spring.jpa.open-in-view to disable this warning

出ないようにapplication.ymlに追加

spring:
   jpa:
     open-in-view: false

受け渡し準備OKです。
でもjarのファイルサイズはどんどん肥大化してます。。

Mavenインストールが失敗するようになった

SpiringBootで作成中のツールにちょっと機能が漏れていたので、pom.xmlにライブラリを追加したところ、ダウンロード出来ませんとの事。

[INFO] Scanning for projects...
[INFO] 
[INFO] Using the builder org.apache.maven.lifecycle.internal.builder.singlethreaded.SingleThreadedBuilder with a thread count of 1
[INFO]                                                                         
[INFO] ------------------------------------------------------------------------
[INFO] Building api-tool 0.0.1-SNAPSHOT
[INFO] ------------------------------------------------------------------------
[INFO] Downloading: http://repo.maven.apache.org/maven2/org/springframework/boot/spring-boot-starter-security/2.0.1.RELEASE/spring-boot-starter-security-2.0.1.RELEASE.pom
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 3.814 s
[INFO] Finished at: 2020-01-29T10:56:41+09:00
[INFO] Final Memory: 15M/159M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project api-tool: Could not resolve dependencies for project api-tool:api-tool:jar:0.0.1-SNAPSHOT: Failed to collect dependencies at org.springframework.boot:spring-boot-starter-security:jar:2.0.1.RELEASE: Failed to read artifact descriptor for org.springframework.boot:spring-boot-starter-security:jar:2.0.1.RELEASE: Could not transfer artifact org.springframework.boot:spring-boot-starter-security:pom:2.0.1.RELEASE from/to central (http://repo.maven.apache.org/maven2): Failed to transfer http://repo.maven.apache.org/maven2/org/springframework/boot/spring-boot-starter-security/2.0.1.RELEASE/spring-boot-starter-security-2.0.1.RELEASE.pom. Error code 501, HTTPS Required -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException

mavenリポジトリから501が応答されているのですが、何か変わったのでしょうか?
試しに、ブラウザ越しに上記のDownload URLをたたくと下記の応答

501 HTTPS Required.
Use https://repo.maven.apache.org/maven2/
More information at https://links.sonatype.com/central/501-https-required

httpsにしなくちゃいけないって事?

ちょっと調べると下記を発見。
[blogcard url=”https://arimodoki.mydns.jp/promenade/s_mavenpom.html”]

今時当たり前なのですが、Mavenリポジトリがhttpsのみに変わったようです。

Mavenツールが古いからかな?とまずeclipse(marsを今でも使用中)から更新の確認を実行してもダメ。
インストールの詳細からm2e Eclipse用Maven統合 を更新してもダメでした。

上記リンクに、pom.xmlで設定するのは例が書かれていますので、有難くこれで一旦解決には出来ますが、プロジェクト個別設定でなくて全体的にどうにかならないの?と、.m2に置いてあるsetting.xmlの設定で対応してみます。

結果、リポジトリ設定ではうまくいかず、ミラーの設定をしてみると、ちゃんとライブラリをダウンロードしてくれるようになりましたが、
初回はミラーから全てのライブラリをダウンロードしようとするようなので、とりあえずはpom.xmlで個別に対応した方がいいかもしれません。

<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
  <mirrors>
    <mirror>
      <id>repo.maven.apache.org</id>
      <name>https maven2 </name>
      <url>https://repo.maven.apache.org/maven2</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
  </mirrors> 
</settings>

後日、別環境で使っているeclipseで確認したところ、比較的新しいeclipseでは特に問題が無かったようです。どうやら、古いバージョンのeclipseだけ対応出来ないようです。

カテゴリー: Java

w2uiでテーブルメンテナンス画面を作ってみる

SpringBootで作っているアプリに、テーブルメンテナンス画面が必要になったので、w2uiで作ってみる事にしました。
[blogcard url=”http://w2ui.com/web”]
テーブルメンテナンス画面といえば、一覧表示があって、選択したら登録フォームが表示されて、とか基本的な構成はどのテーブルも似たようなものですよね。w2uiのグリッドとフォームを使い、使いまわし出来るようjavascriptに機能を纏め、html側にテーブル固有の個別設定を寄せる事で、いろんなテーブルに対応出来るような形にしていきます。
w2uiのformは、urlを指定するとthis.save()でフォームをPOSTしてくれるようなのですが、ちょっと扱いにくいのでsaveを使わずにjsonでPOSTするようにしました。

eclipse上のリソース構成はこんな感じです。

javascriptです。ちょっと変更後のUIの動きがアバウトではありますが。。

//編集表示
function showEditForm(isEdit){
   $('#data-form').show(); 
   $('#data-grid').hide(); 
	w2ui['data_form'].clear();
	w2ui['data_form'].header = uiName;
	
	if(isEdit){
		var sel = w2ui['data_grid'].getSelection();
		if (sel.length == 1) {
        	var record = w2ui['data_grid'].get(sel[0]);
        	w2ui['data_form'].record = record;
		}
	}
    w2ui['data_form'].refresh();
}

//一覧表示
function showGrid(){
   $('#data-grid').show(); 
   $('#data-form').hide(); 
   $.ajax({
      headers:{ "Accept":"text/html,application/xhtml+xml,application/xml,application/json",},
      url:gridURL})
      .fail((jqXHR, textStatus, errorThrown) => {
         if( jqXHR.status == 404 ){
            w2alert('該当するデータはありません'+ jqXHR.responseText, uiName);
         }else{
            w2alert('データが取得出来ませんでした。 ' + jqXHR.status + jqXHR.responseText, uiName);
         }
      })
      .done((data, textStatus, jqXHR) => {
         if(data == ""){
            w2alert('該当する情報はありません', uiName);
            return;
         }
         var json=JSON.parse(data);
         var idx = 0;
         if(!Array.isArray(json)){
            json = JSON.parse('[' + JSON.stringify(json) + ']');
         }
         for(var item of json){
            idx++;
            item['recid']=idx;
         }
         w2ui['data_grid'].clear();
         w2ui['data_grid'].records = json;
         w2ui['data_grid'].refresh();
       });
}

w2utils.locale({
    "phrases" : {
        "Save": "閉じる",
        "Hide": "隠す",
        "Add New": "追加",
        "Edit": "編集",
        "Delete": "削除",
        "Confirmation": "確認",
        "Yes": "はい",
        "No": "いいえ",
        "Reload data in the list": "一覧を再表示します",
        "Edit selected record": "選択した設定を編集します",
        "Required field": "入力必須項目です",
        "Add new record": "新規に設定を追加します",
        "Delete selected records": "選択した設定を削除します",
        "Are you sure you want to delete selected records?": "選択した設定を削除します。よろしいですか?"
    }
});

//更新要求
function ajaxRequest(url, method, JSON, msg){
	var deferred = new $.Deferred();
 	w2confirm( msg +'します。よろしいですか?')
	.yes(function () { 
		$.ajax({
	        type: method,
	        url: url,
	        data: JSON,
	        contentType: 'application/JSON',
	        dataType : 'JSON',
	        scriptCharset: 'utf-8',
	        })
	        .fail((jqXHR, textStatus, errorThrown) => {
	           w2alert(msg + 'に失敗しました' + jqXHR.status + jqXHR.responseText, uiName).done(function () {
		        	deferred.resolve();
	           });
	        })
	        .done((data, textStatus, jqXHR) => {
	           w2alert(msg + 'しました', uiName).done(function () {
		        	deferred.resolve();
	           });
	        });
	});
 	return deferred;
}

$('#data-grid').w2grid({
    header: uiName,
    show: { header: true, toolbar: true, toolbarEdit: true, toolbarAdd: true, toolbarDelete: true, toolbarReload: true, toolbarColumns: false, toolbarSearch: false },
    name: 'data_grid',
    multiSelect : false,
    onReload: function(event) {
    	showGrid();
    },
    onAdd: function (event) {
    	showEditForm(false);
    },
    onEdit: function (event) {
    	showEditForm(true);
    },
    onDelete: function (event) {
    	event.preventDefault();
       	var record = this.get(this.getSelection());
    	var deleteJSON = JSON.stringify(record[0]);
    	var deferred = ajaxRequest(formURL, 'delete', deleteJSON, '削除');
    	deferred.done(function(){
    		setTimeout(function(){showGrid()},500);
    	});
    },
    columns: gridColumns,
});

$('#data-form').w2form({ 
    name  : 'data_form',
    header: uiName,
//    url   : formURL,
    fields: formColumns,
    actions: {
        '更新': function (event) {
        	if( this.validate(true).length == 0 ){
      	    	var postData = this.record;
      	    	var postJSON = JSON.stringify(postData);
      	    	ajaxRequest(formURL, 'post', postJSON, '更新');
        	}
        },
        'キャンセル': function (event) {
            showGrid();
            this.clear();
        }
    }
});

htmlにはjsで定義済の要素とか変数を載せます。メンテ対象のテーブルが増えた場合を考慮しツールバーも入れてます。なお、項目の設定はw2uiのドキュメントを見ながら調整していきますが、結構融通が利きますね。

<!DOCTYPE html>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<title>Customer API Tool</title>
<script src="javascript/jquery-3.4.1.min.js"></script>
<script type="text/javascript" src="javascript/w2ui-1.5.rc1.min.js"></script>
<link rel="stylesheet" type="text/css" href="css/w2ui-1.5.rc1.min.css" />
</head>
<body>
<div id="toolbar" style="padding: 4px; border: 1px solid #dfdfdf; border-radius: 3px"></div>
<div id="data-grid" style="width: 100%; height: 500px;"></div>
<div id="data-form" style="width: 100%; height: 350px;"></div>
<script type="text/javascript">
//w2ui-tablemaintenance.js グリッド設定
var uiName = "顧客設定";  // 画面表示名
var gridURL = location.href + 'customers';  //グリッド表示データ取得URL
var gridColumns = [  // グリッド項目
                   { field: 'customerid', caption: '顧客ID', size: '35%' ,sortable: true, info: true},
                   { field: 'customerCode', caption: '顧客契約CD', size: '35%' ,sortable: true},
                   { field: 'customerName', caption: '顧客名 ', size: '130%' ,sortable: true},
                   { field: 'apiUrl', caption: 'API URL', size: '100%' ,sortable: true},
                   { field: 'user', caption: 'ユーザーID', size: '50%' ,sortable: true},
                   { field: 'password', caption: 'パスワード', size: '40%', render: 'password', sortable: true},
                   { field: 'mailadr', caption: '通知先メールアドレス', size: '100%' ,sortable: true},
                   { field: 'insdate', caption: '作成日時', size: '60%' ,sortable: true},
                   { field: 'updddate', caption: '更新日時', size: '60%' ,sortable: true},
                   ];  

//w2ui-tablemaintenance.js フォーム設定
var formURL = location.href + 'customers';  //フォーム更新URL
var formColumns = [ //フォーム項目
                   { field: 'customerid', type: 'text', required: true, html:{caption: '顧客ID', attr: 'size=5 maxlength=4'}},
                   { field: 'customerCode', type: 'text', required: true, html:{caption: '顧客契約CD', attr: 'size=10 maxlengh=8'}},
                   { field: 'customerName', type: 'text', required: true, html:{caption: '顧客名', attr: 'size=60 maxlengh=60' }},
                   { field: 'apiUrl', type: 'text', required: true, html:{caption: 'API URL', attr: 'size=60 maxlengh=60' }},
                   { field: 'user', caption: 'login ID', type: 'text', required: true, html:{caption: 'login ID', attr: 'size=20 maxlengh=20' }},
                   { field: 'password', caption: 'password', type: 'password', required: true, html:{caption: 'password', attr: 'size=20 maxlengh=20' }},
                   { field: 'mailadr', caption: '通知先メールアドレス', size: '100%' ,sortable: true, html:{caption: '通知先メールアドレス', attr: 'size=40 maxlengh=40' }},
                   ];

//ツールバー
$('#toolbar').w2toolbar({
    name: 'toolbar',
    tooltip: 'right',
    items: [{ type: 'break' },{ type: 'html', html: '<strong><font color="red">Customer API Tool</font></strong>'},
        { type: 'button', id: 'customerBT', group: '1',text: '顧客設定', icon: 'fa-wrench', tooltip: '顧客設定を参照・編集します',
        	onClick: function (event) { showGrid();}},
        { type: 'break' },
    ]
});

$(document).ready(function(){
	showGrid();
});

</script>
<script type="text/javascript" src="javascript/w2ui-tablemaintenance.js"></script>
</body>
</html>

最後にというか、本来なら最初にですがSpringBoot側は、w2uiの項目名と一致するエンティティクラス(ここではCustomer)と、CrudRepositoryを継承したインターフェースCustomerRepositoryを用意し、RESTコントローラーからアクセスさせるようにします。

@CrossOrigin
@RestController
public class CustomerController {
	private CustomerRepository repository;
	
	@Autowired
    public CustomerController(CustomerRepository repository) {
        this.repository = repository;
    }
	/**
	 * 顧客情報取得
	 * */
	@RequestMapping(value="/customers",method = RequestMethod.GET)
    private String getCustomers() throws Exception{
		
		ObjectMapper jsonMapper = new ObjectMapper();
		List<Customer> list = new ArrayList<>();
		StreamSupport.stream(Spliterators.spliteratorUnknownSize(repository.findAll().iterator(), 0),false).forEach(o -> list.add(o));
		return jsonMapper.writeValueAsString(list);
	}
	/**
	 * 顧客情報取得
	 * @param id customer id
	 * */
	@RequestMapping(value="/customers/{id}",method = RequestMethod.GET)
    private String getCustomers(@PathVariable(name = "id", required = false) String id
    		) throws Exception{
		ObjectMapper jsonMapper = new ObjectMapper();
		
		return jsonMapper.writeValueAsString(repository.findById(id));
	}
	/**
	 * 顧客情報更新
	 * */
	@RequestMapping(value="/customers",method = RequestMethod.POST)
	private Customer setCustomers(@RequestBody Customer customer) throws Exception{
		if(customer.getInsdate()== null){
			customer.setInsdate(LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")));
		}
		customer.setUpdddate(LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")));
		return repository.save(customer);
	}
	/**
	 * 顧客情報削除
	 * */
	@RequestMapping(value="/customers",method = RequestMethod.DELETE)
    private String deleteCustomers(@RequestBody Customer customer) throws Exception{
		repository.deleteById(customer.getCustomerid());
		return customer.getCustomerid();
	}
}

で、出来た画面です。

なお、今回セキュリティ要件は考慮していません。。

msg形式のメールファイルをemlファイルに変換する

 数年前にjavamailで作ったメールを受信した後の業務を自動化するツールを、今でもいろいろ機能追加をしているのですが、機能を追加・変更する時に、利用者から対象のメールをemlで提供してもらってテストしています。
 でも、outlookユーザーはmsgでしか提供出来ませんというので、emlへ変換したいのですが、ネットに転がってるツールを使ってもイマイチ変換できません。。
 なら作ろうと調べた所、javaならjotlmsgというのがあったのですが、日本語が文字化けします。
 結局、apache poiでoutlookのmsgを扱えるようなので、msgファイルを読み込んでemlファイルへ出力するという形にしました。

 実行時の引数を、msgファイルを入れたパス、emlファイルを吐き出すパスで指定します。

 何件かのmsgファイルを試した所、htmlで取れるケースが無かった。。メソッド的にはあるはずなのに。。
 その為、完全にemlファイルで再現出来るというレベルにはなりませんでしたが、本文テキストと添付ファイルはemlファイルに出力できているので、まあここまででよいかと。

package jp.esoro.mail.main;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Properties;

import javax.mail.MessagingException;
import javax.mail.Multipart;
import javax.mail.Session;
import javax.mail.internet.MimeBodyPart;
import javax.mail.internet.MimeMessage;
import javax.mail.internet.MimeMultipart;

import org.apache.commons.lang3.StringUtils;
import org.apache.poi.hsmf.MAPIMessage;
import org.apache.poi.hsmf.datatypes.AttachmentChunks;
import org.apache.poi.hsmf.exceptions.ChunkNotFoundException;

public class MsgtoEml {
	public static void main(String[] args)  {
		String msgdir = null;
		String emldir = null;
		for(String arg : args){å
			if(msgdir == null){
				msgdir = arg;
			}
			else{
				emldir = arg;
			}
		}
		if(msgdir == null || emldir == null){
			System.out.println("first arg is msg-file path. second arg is export-eml path");
			System.exit(100);
		}
    	File dir = new File(msgdir);
    	File[] files = dir.listFiles();  
    	
        Properties prop = new Properties();
	    Session session = Session.getDefaultInstance(prop, null);
	    
		for(File file: files){
			if( file.isDirectory() ) {
				continue;
			}
			if(StringUtils.endsWithIgnoreCase(file.getName(),"msg")){
				try {
					FileOutputStream fos = new FileOutputStream(emldir + "/" + StringUtils.replaceIgnoreCase(file.getName(), "msg", "eml"));
					
					MAPIMessage  msg = new MAPIMessage(file);
					MimeMessage eml = new MimeMessage(session);
					String headerValue = "";
					String headerKey = "";
					for(String head: msg.getHeaders()){
						if(head.startsWith(" ")){
							headerValue = headerValue + System.lineSeparator() +head;
						}
						else{
							if(headerKey.length() > 0){
								eml.setHeader(headerKey, headerValue);
							}
							String[] h = head.split(":");
							if(h.length > 1){
								headerKey = head.split(":")[0];
								headerValue = head.split(":")[1];
							}
						}
					}
					eml.setSubject(msg.getSubject(), "UTF-8");
					if(msg.getAttachmentFiles() != null){
						MimeBodyPart mbody = new MimeBodyPart();
						try {
							mbody.setContent(msg.getHtmlBody(),"text/html; charset=UTF-8");
						} catch (ChunkNotFoundException e) {
							mbody.setContent(msg.getTextBody(),"text/plain; charset=UTF-8");
						}
						Multipart mp = new MimeMultipart();
						mp.addBodyPart(mbody);
						for (AttachmentChunks chunks : msg.getAttachmentFiles()){
							MimeBodyPart mbAttachment = new MimeBodyPart();
							mbAttachment.setContent(chunks.getAttachData().getValue(), "application/octet-stream");
							mbAttachment.setFileName(chunks.getAttachFileName().getValue());
							mp.addBodyPart(mbAttachment);
						}
						eml.setContent(mp);
					}
					else{
						try {
						eml.setContent(msg.getHtmlBody(),"text/html; charset=UTF-8");
						} catch (ChunkNotFoundException e) {
							eml.setContent(msg.getTextBody(),"text/plain; charset=UTF-8");
						}
					}
					eml.setSentDate(msg.getMessageDate().getTime());
					eml.writeTo(fos);
					msg.close();
					fos.close();
					System.out.println("["+file.getName() + "] msg exchanged to eml");
					
				} catch (IOException | MessagingException | ChunkNotFoundException e) {
					System.out.println("[" +file.getName() + "] msg export to eml is fail ");
					e.printStackTrace();
				}
			}
		}
	}
}
カテゴリー: Java

weblogic 12cR2にバージョンアップしたら、commons-vfs2でFTPが失敗する

weblogicバージョンアップに伴うトラブルで前回の続き、JAX-RS周りの問題が解消したと思ったら、別のエラーが発生。
commons-vfs2でftp送信している箇所が動かなくなりました。commons-vfs2では他にファイル取得等も実装してますが、そっちの方は何も問題はありません。
ログは下記のように何が原因か解らない状況。


Caused by: org.apache.commons.vfs2.FileSystemException: Could not copy "/tmp/report/upload.txt" to "ftp://username:***@ftphost/report/upload.txt".
Caused by: org.apache.commons.vfs2.FileSystemException: Could not create folder "ftp://username:***@ftphost/report" because it already exists and is a file.

結果的に、pom.xmlに下記を追加しただけで問題が解消しました。

    <!-- https://mvnrepository.com/artifact/commons-net/commons-net -->
	<dependency>
	    <groupId>commons-net</groupId>
	    <artifactId>commons-net</artifactId>
	    <version>2.2</version>
	</dependency>

アプリケーションサーバの機能が多いと、かえって何処が依存しているか解らなくなりがちですね。