AWS CodePipelineでspringbootアプリをECSへデプロイしてみた

投稿日時: 2019年3月12日投稿者: bokusui

オンプレサーバで稼働しているシステムをAWSへ移行したいという話があり、AWS環境でCI/CDがどう出来るか確認してみました。
構成としては、開発用端末のIDE（IntelliJ IDEA）でコミット、CodeCommitのリポジトリにプッシュしたら、Mavenビルドを開始してECRへコンテナをプッシュ、ECSへデプロイという流れです。

下記AWS環境を用意します。
・ECSの設定（クラスタ、サービス、タスク定義）
・ECRにリポジトリを作成、springbootのアプリなのでopenjdkのイメージをプッシュ
・CodeCommitにリポジトリ作成
・CodePipelineを設定

ググれば、いろいろAWSに関する情報はあるのですが、なかなかうまく出来ません。
で、いろいろやってみた結果、ビルド用にbuildspec.yml、デプロイ用にDockerfileをリポジトリの直下に置くとデプロイが成功しました。

version: 0.2

phases:
  pre_build:
    commands:
      - echo Logging in to Amazon ECR...
      - aws --version
      - $(aws ecr get-login --region $AWS_DEFAULT_REGION --no-include-email)
      - REPOSITORY_URI={AWS上のECRリポジトリ}
      - COMMIT_HASH=$(echo $CODEBUILD_RESOLVED_SOURCE_VERSION | cut -c 1-7)
      - IMAGE_TAG=${COMMIT_HASH:=latest}
  build:
    commands:
      - echo Build started on `date`
      - mvn clean
      - mvn install
      - echo Building the Docker image...          
      - docker build -t $REPOSITORY_URI:latest .
      - docker tag $REPOSITORY_URI:latest $REPOSITORY_URI:$IMAGE_TAG
  post_build:
    commands:
      - echo Build completed on `date`
      - mvn package
      - echo Pushing the Docker images...
      - docker push $REPOSITORY_URI:latest
      - docker push $REPOSITORY_URI:$IMAGE_TAG
      - echo Writing image definitions file...
      - printf '[{"name":"sample-app","imageUri":"%s"}]' $REPOSITORY_URI:$IMAGE_TAG > imagedefinitions.json      
artifacts:
  files:
    - imagedefinitions.json

version: 0.2

phases:

pre_build:

commands:

- echo Logging in to Amazon ECR...

- aws --version

- $(aws ecr get-login --region $AWS_DEFAULT_REGION --no-include-email)

- REPOSITORY_URI={AWS上のECRリポジトリ}

- COMMIT_HASH=$(echo $CODEBUILD_RESOLVED_SOURCE_VERSION | cut -c 1-7)

- IMAGE_TAG=${COMMIT_HASH:=latest}

build:

commands:

- echo Build started on `date`

- mvn clean

- mvn install

- echo Building the Docker image...

- docker build -t $REPOSITORY_URI:latest .

- docker tag $REPOSITORY_URI:latest $REPOSITORY_URI:$IMAGE_TAG

post_build:

commands:

- echo Build completed on `date`

- mvn package

- echo Pushing the Docker images...

- docker push $REPOSITORY_URI:latest

- docker push $REPOSITORY_URI:$IMAGE_TAG

- echo Writing image definitions file...

- printf '[{"name":"sample-app","imageUri":"%s"}]' $REPOSITORY_URI:$IMAGE_TAG > imagedefinitions.json

artifacts:

files:

- imagedefinitions.json

FROM openjdk:latest
VOLUME /tmp
ADD target/springtest-0.0.1-SNAPSHOT.jar app.jar
EXPOSE 5000
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /app.jar" ]

FROM openjdk:latest

VOLUME /tmp

ADD target/springtest-0.0.1-SNAPSHOT.jar app.jar

EXPOSE 5000

ENV JAVA_OPTS=""

ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /app.jar" ]

すいません、情報の参照元が解らなくなってしまいました。。
mvn install　結構時間掛かりますね。。

AWSは数年前にアカウントを登録してちょこっとだけ遊んでみただけだったので、ちゃんとAWS環境を理解した上で整理してからじゃないと実利用には遠い感じです。。

Swagger + SpringBoot で APIサイトを作ってみる

投稿日時: 2018年10月30日投稿者: bokusui

既存システムのDBへアクセスしてデータを参照するようなAPIを、って事で、
SwaggerでAPIを定義し、Swaggerから自動生成したソースを使って実装してみました。
なお、今回対象としているのは参照系がメインでRESTって雰囲気ではありません。
対象が既存システムのDBなので。。

とりあえず、ざっくりとした要求と応答の仕様を整理し、Swagger Editorにyamlを書いてみます。

なお、Swagger Editorは、別件で使っていた端末内のxampp/htdocsにGitHubからダウンロードしたZIPを解凍して使ってます。
ある程度、定義を書いた後、Swagger EditorからGenerate ServerでSpringのサーバソースを出力してみます。

自動生成されたJavaソースはこんな構成です。

Controllerとレスポンスエンティティのモデルが揃ってます。全体的なソース構成は、コントローラ層、サービス層、データアクセス層という３構成になりますかね。
コントローラ層は概ねSwaggerで生成したので、データアクセス層も自動生成しようと、Doma2を使ってみます。
doma-gen-build.xmlに接続先DB情報と出力先ソースの設定等を記述し、こちらもGenerate!

結果、ソースを手書きする必要があるのは、

・サービス層全体

・Swaggerで自動生成されたSpringBootApplicationクラスのComponentScanにサービス層のパッケージを追記
　　@ComponentScan(basePackages = { “io.swagger”, “io.swagger.api”,”jp.esoro.api” })

・Swaggerで自動生成されたControllerにServiceをコールする箇所を追記

・DAOインターフェースに下記アノテーションを追記
@ConfigAutowireable
@Repository

・自動生成不可能なSQL文の作成し、それに合わせてDAOにメソッド追加

といったところで、とりあえずの動作確認が出来ました。

ただ、実用するには認証やページング等も必要なので、こんな単純な話にはなりませんし、APIの仕様をちゃんと整理してからSwaggerでソースを生成して着手しないと後が面倒ですね。

NTLM認証のサイトからファイルをダウンロードする

投稿日時: 2018年8月16日投稿者: bokusui

SpringBootで作成中のアプリに、企業内のWebサイトよりエクセルファイルをダウンロードする要件があったので、何となくBasic認証のサイトだろうなと思い込んで実装を始めましたが全然繋がりません。

wget ‘http://username:password@filestore.bbb.co.jp/web/download/downloadfile.xlsx’
でファイルは取れます。

でも、
curl ‘http://username:password@filestore.bbb.co.jp/web/download/downloadfile.xlsx’
では動きません。

試しにwgetをデバッグモードでやってみて気が付きました。。

WWW-Authenticate: NTLM

このサイト、NTLM認証ですね。。

下記を参考に認証箇所を変更
http://code-addict.pl/reporting-services-rest-url-client/

また依存が増えてしまいましたが。。

       <dependency>
		<groupId>org.apache.httpcomponents</groupId>
		<artifactId>httpclient</artifactId>
		<version>4.5.6</version>
	</dependency>

<groupId>org.apache.httpcomponents</groupId>

<artifactId>httpclient</artifactId>

</dependency>

ダウンロードファイルが更新されていた時だけダウンロードするという対応も必要なので、サーバ内にダウンロードしたローカルファイルとサイト上のファイルタイムスタンプをチェックし、一致しなければファイルをダウンロードしタイムスタンプをサイト上と同じ時間に書き換えるという対応になりました。

で、タイムスタンプはどこ？ここに書いてました。

確かにhttpヘッダに
Last-Modified:Tue, 14 Aug 2018 08:53:30 GMT
と書いてあります。

結局、こんな感じのコンポーネントを用意しました。

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.attribute.FileTime;
import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Locale;

import org.apache.http.auth.AuthScope;
import org.apache.http.auth.NTCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.springframework.stereotype.Component;

@Component
public class FileDownLoader {
	public void donwLoadFile(String fileName) throws IOException, ParseException{

		FileTime beforeT = null;
        Path path = Paths.get("/localpath/" + fileName);
		try{
			//更新前ファイルのタイムスタンプ取得
			beforeT = Files.getLastModifiedTime(path);
		} catch (Exception ex) {
			//新規ファイル
		}
        String url = "http://filestore.bbb.co.jp/web/download/" +fileName;
    	CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
        credentialsProvider.setCredentials(AuthScope.ANY,
                 new NTCredentials("username", "password", null, null));
        HttpGet httpGet = new HttpGet(url);
         
        CloseableHttpClient httpclient = HttpClientBuilder
                 .create()
                 .setDefaultCredentialsProvider(credentialsProvider)
                 .build();
         
        CloseableHttpResponse closeableHttpResponse = httpclient.execute(httpGet);
         
        FileTime modTime = beforeT;
        if( closeableHttpResponse.getAllHeaders() != null){
        	DateFormat df = new SimpleDateFormat("EEE, d MMM yyyy HH:mm:ss Z", Locale.ENGLISH);
        	modTime = FileTime.from(df.parse(closeableHttpResponse.getFirstHeader("Last-Modified").getValue()).toInstant());
        }
        //更新無し
		if(beforeT != null && beforeT.compareTo(modTime) == 0){
			closeableHttpResponse.close();
			return;
		}
        Files.write(path, EntityUtils.toByteArray(closeableHttpResponse.getEntity()));
        //更新日時タイムスタンプ書き換え
        Files.setLastModifiedTime(path, modTime);
		closeableHttpResponse.close();
	}
}

import java.io.IOException;

import java.nio.file.Files;

import java.nio.file.Path;

import java.nio.file.Paths;

import java.nio.file.attribute.FileTime;

import java.text.DateFormat;

import java.text.ParseException;

import java.text.SimpleDateFormat;

import java.util.Locale;

import org.apache.http.auth.AuthScope;

import org.apache.http.auth.NTCredentials;

import org.apache.http.client.CredentialsProvider;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.impl.client.BasicCredentialsProvider;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClientBuilder;

import org.apache.http.util.EntityUtils;

import org.springframework.stereotype.Component;

@Component

public class FileDownLoader {

public void donwLoadFile(String fileName) throws IOException, ParseException{

FileTime beforeT = null;

Path path = Paths.get("/localpath/" + fileName);

try{

//更新前ファイルのタイムスタンプ取得

beforeT = Files.getLastModifiedTime(path);

} catch (Exception ex) {

//新規ファイル

}

String url = "http://filestore.bbb.co.jp/web/download/" +fileName;

CredentialsProvider credentialsProvider = new BasicCredentialsProvider();

credentialsProvider.setCredentials(AuthScope.ANY,

new NTCredentials("username", "password", null, null));

HttpGet httpGet = new HttpGet(url);

CloseableHttpClient httpclient = HttpClientBuilder

.create()

.setDefaultCredentialsProvider(credentialsProvider)

.build();

CloseableHttpResponse closeableHttpResponse = httpclient.execute(httpGet);

FileTime modTime = beforeT;

if( closeableHttpResponse.getAllHeaders() != null){

DateFormat df = new SimpleDateFormat("EEE, d MMM yyyy HH:mm:ss Z", Locale.ENGLISH);

modTime = FileTime.from(df.parse(closeableHttpResponse.getFirstHeader("Last-Modified").getValue()).toInstant());

}

//更新無し

if(beforeT != null && beforeT.compareTo(modTime) == 0){

closeableHttpResponse.close();

return;

}

Files.write(path, EntityUtils.toByteArray(closeableHttpResponse.getEntity()));

//更新日時タイムスタンプ書き換え

Files.setLastModifiedTime(path, modTime);

closeableHttpResponse.close();

}

テストしてみます。

@RunWith(SpringRunner.class)
@SpringBootTest(classes = UoeautomailApplication.class)
public class DownloadTest throws Exception{

	@Autowired
	FileDownLoader fileDownLoader;

 	@Test
	public void test(){
  	   	fileDownLoader.donwLoadFile("aaa.xlsx");
	}
}

@RunWith(SpringRunner.class)

@SpringBootTest(classes = UoeautomailApplication.class)

public class DownloadTest throws Exception{

@Autowired

FileDownLoader fileDownLoader;

@Test

public void test(){

fileDownLoader.donwLoadFile("aaa.xlsx");

}

とりえあず、動いたので整理してから実装します。

SpringBootでWebアプリが動かない

投稿日時: 2018年7月30日投稿者: bokusui

　作りかけのSpringBootのRestアプリを別端末の開発環境（Windows＋EclipseSTS＋Maven）へ移行して動かしてみたところ、ブラウザからURLを打ち込んでも、RestControllerがうんともすんともいいません。元々の環境では普通に動作していたのですが。。
　困ったな・・と別環境への移行を諦めようかと思っていたところ、よく見るとSpring実行時のログ出力に下記を発見

[ERROR] C:\Users\admin\.m2\repository\org\apache\tomcat\embed\tomcat-embed-core\8.5.31\tomcat-embed-core-8.5.31.jarの読込みエラーです。invalid LOC header (bad signature)

　とりあえず該当のC:\Users\admin\.m2\repository\org\apache\tomcat\embed\tomcat-embed-core\8.5.31 内のファイルを全て消して再度、プロジェクト→実行→Maven install実施。
すると何事も無く動き始めました。。

2018-07-30 15:18:55.806 INFO 14844 --- [ main] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat started on port(s): 8090 (http) with context path ''

こういった問題はあまり深く考えても詮無き事。。
なお、デフォルトの8080ポートは他アプリと被ってたので、application.ymlに
server: port: 8090

と書いています。

SpringBootのCacheにCSVを入れてみた

投稿日時: 2018年7月22日投稿者: bokusui

　別のところで開発してもらったSpringBootのソースを引き取って機能追加の対応をしているのですが、毎日定時に更新されるCSVファイルをマスターデータとして使用するという要件が含まれてました。
　CSVをそのまま処理の都度読み込むのもイマイチだし、今回はSpringBootのアプリケーションなんで、SpringBootCacheを使ってみる事にしました。

今回の要件的にCacheとしてはConcurrentMapCacheでこと足りそうなので、実装前に下記サイトの住所CSV関東版を使って試してみます。
住所データのダウンロードサイト【住所.jp】

まず適当にエンティティを・・

import java.io.Serializable;

public class Address implements Serializable {

	private static final long serialVersionUID = 1L;

	/** 都道府県コード */ 
	private String prefid;
	
	/** 郵便番号 */
	private String zipCode;
	
	/** 都道府県名 */
	private String prefName;
	
	/** 住所 */
	private String addressName;
	
以下、GetterSetterは省略・・

import java.io.Serializable;

public class Address implements Serializable {

private static final long serialVersionUID = 1L;

/** 都道府県コード */

private String prefid;

/** 郵便番号 */

private String zipCode;

/** 都道府県名 */

private String prefName;

/** 住所 */

private String addressName;

以下、GetterSetterは省略・・

キャッシュ設定のevictスケジュールについては、ここではテストなので１分でクリアし、クリアした事がわかるように出力してます。実際には日次CSVファイル更新処理が終わった後くらいに動作するようにします。

import org.springframework.cache.CacheManager;
import org.springframework.cache.annotation.CacheEvict;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.cache.concurrent.ConcurrentMapCacheManager;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;

@Configuration
@EnableCaching
@EnableScheduling
public class CachingConfig {
	private final String cacheName = "AddressInfo";
	@Bean
    public CacheManager cacheManager() {
		ConcurrentMapCacheManager manager =  new ConcurrentMapCacheManager(cacheName);
		return manager;
    }
    @CacheEvict(allEntries = true, value = {cacheName})
    @Scheduled(fixedDelay = 60 * 1000 ,  initialDelay = 0)
    public void cacheEvict() {
    	System.out.println("evict!");
    }
}

import org.springframework.cache.CacheManager;

import org.springframework.cache.annotation.CacheEvict;

import org.springframework.cache.annotation.EnableCaching;

import org.springframework.cache.concurrent.ConcurrentMapCacheManager;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.scheduling.annotation.EnableScheduling;

import org.springframework.scheduling.annotation.Scheduled;

@Configuration

@EnableCaching

@EnableScheduling

public class CachingConfig {

private final String cacheName = "AddressInfo";

@Bean

public CacheManager cacheManager() {

ConcurrentMapCacheManager manager = new ConcurrentMapCacheManager(cacheName);

return manager;

}

@CacheEvict(allEntries = true, value = {cacheName})

@Scheduled(fixedDelay = 60 * 1000 , initialDelay = 0)

public void cacheEvict() {

System.out.println("evict!");

}

で、サービスを作りますが、ここでCSVのデータを全部キャッシュに突っ込みます。CSV読み込みについてはこちらを参考にさせて頂きました。

事前にapplication.ymlに下記を書いておきます。

  jp:
    esoro:
      master:
        address: /var/lib/ap/data/kanto.csv

jp:

esoro:

master:

address: /var/lib/ap/data/kanto.csv

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVRecord;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cache.annotation.Cacheable;
import org.springframework.stereotype.Service;

@Service
public class AddressService {
	
	protected static Logger logger = LogManager.getLogger();

	@Value("${jp.esoro.master.address}")
	String csvPath;

	@Cacheable("AddressInfo")
	public Map<String,Address> getAll() {
		BufferedReader in = null;
		Map<String,Address> list = new HashMap<String,Address>();
logger.info("readCSV");
		try{
			in = new BufferedReader(new InputStreamReader(new FileInputStream(new File(csvPath)),"MS932"));
			CSVParser parser = CSVFormat
			        .EXCEL                                        // ExcelのCSV形式を指定
			        .withIgnoreEmptyLines(true)                   // 空行を無視する
			        .withSkipHeaderRecord()                       // 最初の行をヘッダーとして読み飛ばす
			        .withIgnoreSurroundingSpaces(false)           // 値をtrimして取得する
			        .withRecordSeparator(System.getProperty("line.separator"))
			        .withDelimiter(',')
			        .withQuote('"')
			        .parse(in);

			// CSVのレコードを取得
		    List<CSVRecord> pList = parser.getRecords();

		    for(int i = 0 ; i < pList.size() ; i++ ){
		    	CSVRecord rec = pList.get(i);
		    	Address inf = new Address();
		    	inf.setPrefid(rec.get(1));
		    	inf.setZipCode(rec.get(4));
		    	inf.setPrefName(rec.get(7));
		    	inf.setAddressName(rec.get(9)+rec.get(11)+rec.get(13));
		    	list.put(rec.get(0), inf);
		    }
		} catch (Exception e) {
			logger.error("csv read error", e);
			 
		} finally{
			if (in != null){
				try {
					in.close();
				} catch (IOException e) {
				}
			}
		}
	    return list;
	}
}

import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.IOException;

import java.io.InputStreamReader;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import org.apache.commons.csv.CSVFormat;

import org.apache.commons.csv.CSVParser;

import org.apache.commons.csv.CSVRecord;

import org.apache.logging.log4j.LogManager;

import org.apache.logging.log4j.Logger;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.cache.annotation.Cacheable;

import org.springframework.stereotype.Service;

@Service

public class AddressService {

protected static Logger logger = LogManager.getLogger();

@Value("${jp.esoro.master.address}")

String csvPath;

@Cacheable("AddressInfo")

public Map<String,Address> getAll() {

BufferedReader in = null;

Map<String,Address> list = new HashMap<String,Address>();

logger.info("readCSV");

try{

in = new BufferedReader(new InputStreamReader(new FileInputStream(new File(csvPath)),"MS932"));

CSVParser parser = CSVFormat

.EXCEL // ExcelのCSV形式を指定

.withIgnoreEmptyLines(true) // 空行を無視する

.withSkipHeaderRecord() // 最初の行をヘッダーとして読み飛ばす

.withIgnoreSurroundingSpaces(false) // 値をtrimして取得する

.withRecordSeparator(System.getProperty("line.separator"))

.withDelimiter(',')

.withQuote('"')

.parse(in);

// CSVのレコードを取得

List<CSVRecord> pList = parser.getRecords();

for(int i = 0 ; i < pList.size() ; i++ ){

CSVRecord rec = pList.get(i);

Address inf = new Address();

inf.setPrefid(rec.get(1));

inf.setZipCode(rec.get(4));

inf.setPrefName(rec.get(7));

inf.setAddressName(rec.get(9)+rec.get(11)+rec.get(13));

list.put(rec.get(0), inf);

}

} catch (Exception e) {

logger.error("csv read error", e);

} finally{

if (in != null){

try {

in.close();

} catch (IOException e) {

}

return list;

}

依存しているものです

	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.2.RELEASE</version>
	</parent>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-keyvalue</artifactId>
        </dependency>
		<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-cache</artifactId>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-csv -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-csv</artifactId>
            <version>1.5</version>
        </dependency>
    </dependencies>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-parent</artifactId>

<version>2.0.2.RELEASE</version>

</parent>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter</artifactId>

</dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-test</artifactId>

</dependency>

<groupId>org.springframework.data</groupId>

<artifactId>spring-data-keyvalue</artifactId>

</dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-cache</artifactId>

</dependency>

<groupId>org.apache.commons</groupId>

<artifactId>commons-csv</artifactId>

</dependency>

</dependencies>

最後にテストを書いて効果を確認します。

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import jp.esoro.cache.domain.model.address.AddressService;

@RunWith(SpringRunner.class)
@SpringBootTest(classes = CacheApplication.class)
public class CacheTest {

	protected static Logger logger = LogManager.getLogger();

	@Autowired
	AddressService addressInfo;

	@Test
    public void testCache1() {
		
		for(int i = 0 ; i < 10;i++) {
			logger.info("get start");
			logger.info(addressInfo.getAll().get("299190600").getAddressName());
			logger.info(addressInfo.getAll().get("299190600").getAddressName());
			logger.info(addressInfo.getAll().get("161871000").getAddressName());
			try {
				Thread.sleep(1000*64);
			} catch (InterruptedException e) {
			}
		}
	}
}

import org.apache.logging.log4j.LogManager;

import org.apache.logging.log4j.Logger;

import org.junit.Test;

import org.junit.runner.RunWith;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.boot.test.context.SpringBootTest;

import org.springframework.test.context.junit4.SpringRunner;

import jp.esoro.cache.domain.model.address.AddressService;

@RunWith(SpringRunner.class)

@SpringBootTest(classes = CacheApplication.class)

public class CacheTest {

protected static Logger logger = LogManager.getLogger();

@Autowired

AddressService addressInfo;

@Test

public void testCache1() {

for(int i = 0 ; i < 10;i++) {

logger.info("get start");

logger.info(addressInfo.getAll().get("299190600").getAddressName());

logger.info(addressInfo.getAll().get("161871000").getAddressName());

try {

Thread.sleep(1000*64);

} catch (InterruptedException e) {

}

テスト結果です。

evict!
2018-07-22 15:24:13.023  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : Started CacheTest in 2.497 seconds (JVM running for 3.93)
2018-07-22 15:24:13.201  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:24:13.215  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:24:13.684  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:24:13.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:24:13.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽
evict!
2018-07-22 15:25:17.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:25:17.687  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽
evict!
2018-07-22 15:26:22.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:26:22.119  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽

evict!

2018-07-22 15:24:13.023 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : Started CacheTest in 2.497 seconds (JVM running for 3.93)

2018-07-22 15:24:13.201 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:24:13.215 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:24:13.684 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:24:13.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:24:13.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

evict!

2018-07-22 15:25:17.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:25:17.687 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:25:18.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:25:18.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

evict!

2018-07-22 15:26:22.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:26:22.119 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:26:22.309 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:26:22.309 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

CSVを読んだ場合500ms程度ですが、キャッシュが効いてると殆ど1ms以内の世界です。
こりゃいい感じですね！

google-http-clientを使ってみた

投稿日時: 2018年5月31日投稿者: bokusui

　とあるWebAPIサービスを提供しているサイトへアクセスするクライアントをjavaで書こうかと、最初はjerseyを試してみたのですが、これがなかなか厄介で、次から次と依存が判明して動作するまで一苦労。。
最終的には、とあるサイト側の認証における制約により、jerseyの仕様ではどうやってもアクセスが出来ない事が判明。。

　失敗の原因は概ね当たりが付いていたので、その辺りに問題が無さそうなライブラリとしてgoogle-http-clientを使うことにしました。
　jerseyで途中まで実装していたものをそのままgoogle-http-clientを使う形に置き換えて疎通確認レベルまでやってみます。

		String jsonStr = "{¥"param1¥" : ¥"XXXXX¥"}";
		HttpTransport transport = new ApacheHttpTransport();
        HttpRequestFactory factory = transport.createRequestFactory();

        GenericUrl url = new GenericUrl("https://aaa.bbb.jp/api/method");
        
        HttpRequest request = factory.buildPostRequest(url, ByteArrayContent.fromString("application/json", jsonStr ));

		request.setConnectTimeout(30 * 1000);
		request.setReadTimeout(60 * 1000);
        HttpHeaders headers = request.getHeaders();
        headers.setContentType("application/json");
        headers.set("x-header1", "xxxxx");
        headers.set("x-header2", "yyyyy");
		String accessToken = generateToken(); //こちらはサイト要件に合わせて別途用意
        headers.setAuthorization(accessToken);
		
		response = request.execute();
		try{
			String respJsonStr = response.parseAsString();
	    } finally {
	        response.disconnect();
	    }
		//パース処理に続く・・・

String jsonStr = "{¥"param1¥" : ¥"XXXXX¥"}";

HttpTransport transport = new ApacheHttpTransport();

HttpRequestFactory factory = transport.createRequestFactory();

GenericUrl url = new GenericUrl("https://aaa.bbb.jp/api/method");

HttpRequest request = factory.buildPostRequest(url, ByteArrayContent.fromString("application/json", jsonStr ));

request.setConnectTimeout(30 * 1000);

request.setReadTimeout(60 * 1000);

HttpHeaders headers = request.getHeaders();

headers.setContentType("application/json");

headers.set("x-header1", "xxxxx");

headers.set("x-header2", "yyyyy");

String accessToken = generateToken(); //こちらはサイト要件に合わせて別途用意

headers.setAuthorization(accessToken);

response = request.execute();

try{

String respJsonStr = response.parseAsString();

} finally {

response.disconnect();

}

//パース処理に続く・・・

　google-http-clientは依存が無く構成がとてもシンプルで置き換えた途端に、サックリとAPIアクセスに成功しました。proxy経由でもJVM引数で指定してあっさり通りました。

　細かいところでは、どうも指定したタイムアウトは効いてないような気がしますが、まあ、今回の実務上問題無さそうなので、利用しやすいように整理して実装しようと思います。

　だいぶ経って2019年1月現在、久しぶりに使ってみると、当時のバージョン1.23と現在の1.28では仕様が変わっており上記のままでは動かなくなりました。。

Apache CommonsのDateUtilsに機能を拡張する

投稿日時: 2017年9月23日投稿者: bokusui

　よくあるケースと思いますが、メジャーなライブラリにもうちょっと機能が欲しい時、そのライブラリを拡張して共通ライブラリとして使いまわしたりしますよね？
筆者がJavaを使う場合は、だいぶ前からApache CommonsのDateUtilsを拡張し、String・Dateの相互変換メソッドとかを追加していろんな開発案件で使いまわしてましたが、今回、文字列から日時型に変換するけど、どんな文字列パターンになるかが不明確、、という要件があったので、拡張していたクラスに機能を追加し、一般的に日時として使われる文字列からのDate変換機能を追加してみました。
※2021.04 長文からの日時文字列取得で問題があったので修正しています。

package jp.esoro.common.utils;

import java.text.Normalizer;
import java.text.Normalizer.Form;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.commons.lang3.time.DateFormatUtils;

/**
 * 日付処理クラス
 * */
public class DateUtils extends org.apache.commons.lang3.time.DateUtils {

	/**
	 * 日付表示パターン(YYYY/MM/DD hh:mm)
	 */
	public static final String FORMAT_YYYY_MM_DD_HH_MM = "yyyy/MM/dd HH:mm";

	public static final String FORMAT_YYYY_MM_DD = "yyyy/MM/dd";
	public static final String FORMAT_YYYYMMDD = "yyyyMMdd";
	public static final String FORMAT_YYMMDD = "yyMMdd";
	public static final String FORMAT_JPN_YYYY_MM_DD = "yyyy年MM月dd日";

	public static final String FORMAT_YYYY_MM_DD_HH_MM_SS = "yyyy/MM/dd HH:mm:ss";

	public static final String FORMAT_MYSQL_DATE = "yyyy-MM-dd";
	public static final String FORMAT_MYSQL_DATETIME = "yyyy-MM-dd HH:mm:ss";
	public static final String FORMAT_YYYYMMDDHHMMSS = "yyyyMMddHHmmss";
	public static final String FORMAT_YYYYMMDDHHMMSSmi = "yyyyMMddHHmmssSSS";
	public static final String FORMAT_YYMMDDHHMMSS = "yyMMddHHmmss";
	public static final String FORMAT_YYMMDDHHMMSSmi = "yyMMddHHmmssSSS";

	/**
	 * 日付(Calendar)を文字列に編集する
	 * @param date
	 * @param pattern
	 * @return
	 */
	public static String format(Calendar date, String pattern) {
		if (date == null) {
			return null;
		}
		return DateFormatUtils.format(date, pattern);
	}

	/**
	 * 日付(Date)を文字列に編集する
	 * @param date
	 * @param pattern
	 * @return
	 */
	public static String format(Date date, String pattern) {
		if (date == null) {
			return null;
		}
		Calendar cal = Calendar.getInstance();
		cal.setTime(date);
		return format(cal, pattern);
	}

	/**
	 * システム日付を取得する
	 * @return Date
	 */
	public static Date getDateTime() {
		return Calendar.getInstance().getTime();
	}

	/**
	 * 文字列をDate型へ変換する
	 * @param value(yyyy_mm_dd)
	 * @return
	 */
	public static Date stringToDate(String value) {
	    return stringToDate(value , FORMAT_YYYY_MM_DD);
	}

	/**
	 * 文字列をDate型へ変換する
	 * @param value
	 * @param pattern 
	 * @return
	 */
	public static Date stringToDate(String value ,String pattern) {
	    SimpleDateFormat sdf = new SimpleDateFormat(pattern);
	    if (value == null) {
	    	return null;
	    }
	    try {
	        return sdf.parse(value);
	    } catch (ParseException e) {
	        return null;
	    }
	}
//ここまで以前から、以降を追加
	/**
	 * 日時文字列をDate変換する
	 * @param str Date変換したい文字列
	 * @return Date 取得出来ない場合はnull
	 * @see あらかじめ文字列パターンが判明している場合は、stringToDateを使用してください）
	 */
	public static Date extractDate(String str) {
		final String[] regexs = {"([0-9]{2,4})(/|-|¥¥.|年)([01]?[0-9])(/|-|¥¥.|月)([0123]?[0-9])(日|日¥¥s+|¥¥s|_)([0-9]{1,2})(:|-|¥¥.|時)([0-9]{1,2})(:|-|¥¥.|分)([0-9]{1,2})",
				"([0-9]{2,4})(/|-|¥¥.|年)([01]?[0-9])(/|-|¥¥.|月)([0123]?[0-9])(日|日¥¥s+|¥¥s|_)([0-9]{1,2})(:|-|¥¥.|時)([0-9]{1,2})",
				"([0-9]{2,4})(/|-|¥¥.|年)([01]?[0-9])(/|-|¥¥.|月)([0123]?[0-9])(日|日¥¥s+|¥¥s|_)([0-9]{1,2})(:|-|¥¥.|時)",
				"([0-9]{2,4})(/|-|¥¥.|年)([01]?[0-9])(/|-|¥¥.|月)([0123]?[0-9])",
				};
		Date ret = null;
		String normStr = Normalizer.normalize(str, Form.NFKC);
		try{
			String chkStr = StringUtils.removePattern(normStr, "am|AM|Am|pm|PM|Pm|午前|午後");
			
			for(String regex : regexs){
				Pattern pattern = Pattern.compile(regex, Pattern.DOTALL|Pattern.CASE_INSENSITIVE);
				Matcher matcher = pattern.matcher(chkStr);
				
				if(matcher.find()){
					if(matcher.groupCount() >= 5){
						boolean isPm = false;
						if(normStr.indexOf(matcher.group()) < 0 && matcher.groupCount() >= 7){
							if( normStr.matches(".*"+matcher.group(1)+matcher.group(2)+matcher.group(3)+matcher.group(4)+matcher.group(5)+matcher.group(6)+"(pm|PM|pm|午後).*")){
								isPm = true;
							}
						}
						
						if(matcher.group(1).length() == 2){
							ret = DateUtils.setYears(getDateTime(), Integer.valueOf("20" + matcher.group(1)));
						}
						else{
							ret = DateUtils.setYears(getDateTime(), Integer.valueOf(matcher.group(1)));
						}
						ret = DateUtils.setDays(ret, 1);
						//Month is 0 -11
						ret = DateUtils.setMonths(ret, Integer.valueOf(matcher.group(3))-1);
						ret = DateUtils.setDays(ret, Integer.valueOf(matcher.group(5)));
						
						if(matcher.groupCount() >= 7){
							int hour = Integer.valueOf(matcher.group(7));
							ret = DateUtils.setHours(ret, hour + (hour<12 && isPm?12:0));
						}
						else{
							ret = DateUtils.setHours(ret, 0);
						}
						if(matcher.groupCount() >= 9){
							ret = DateUtils.setMinutes(ret, Integer.valueOf(matcher.group(9)));
						}
						else{
							ret = DateUtils.setMinutes(ret, 0);
						}
						if(matcher.groupCount() == 11){
							ret = DateUtils.setSeconds(ret, Integer.valueOf(matcher.group(11)));
						}
						else{
							ret = DateUtils.setSeconds(ret, 0);
						}
					}
					return ret;
				}
			}
			if(ret == null){
				SimpleDateFormat sdf1 = new SimpleDateFormat("EEE MMM dd HH:mm:ss z yyyy",Locale.ENGLISH);
		        ret = sdf1.parse(chkStr);
			}
		}catch(Exception e){
	        return null;
		}
		return ret;
	}
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

package jp.esoro.common.utils;

import java.text.Normalizer;

import java.text.Normalizer.Form;

import java.text.ParseException;

import java.text.SimpleDateFormat;

import java.util.Calendar;

import java.util.Date;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

import org.apache.commons.lang3.time.DateFormatUtils;

/**

* 日付処理クラス

* */

public class DateUtils extends org.apache.commons.lang3.time.DateUtils {

/**

* 日付表示パターン(YYYY/MM/DD hh:mm)

public static final String FORMAT_YYYY_MM_DD_HH_MM = "yyyy/MM/dd HH:mm";

public static final String FORMAT_YYYY_MM_DD = "yyyy/MM/dd";

public static final String FORMAT_YYYYMMDD = "yyyyMMdd";

public static final String FORMAT_YYMMDD = "yyMMdd";

public static final String FORMAT_JPN_YYYY_MM_DD = "yyyy年MM月dd日";

public static final String FORMAT_YYYY_MM_DD_HH_MM_SS = "yyyy/MM/dd HH:mm:ss";

public static final String FORMAT_MYSQL_DATE = "yyyy-MM-dd";

public static final String FORMAT_MYSQL_DATETIME = "yyyy-MM-dd HH:mm:ss";

public static final String FORMAT_YYYYMMDDHHMMSS = "yyyyMMddHHmmss";

public static final String FORMAT_YYYYMMDDHHMMSSmi = "yyyyMMddHHmmssSSS";

public static final String FORMAT_YYMMDDHHMMSS = "yyMMddHHmmss";

public static final String FORMAT_YYMMDDHHMMSSmi = "yyMMddHHmmssSSS";

/**

* 日付(Calendar)を文字列に編集する

* @param date

* @param pattern

* @return

public static String format(Calendar date, String pattern) {

if (date == null) {

return null;

}

return DateFormatUtils.format(date, pattern);

}

/**

* 日付(Date)を文字列に編集する

* @param date

* @param pattern

* @return

public static String format(Date date, String pattern) {

if (date == null) {

return null;

}

Calendar cal = Calendar.getInstance();

cal.setTime(date);

return format(cal, pattern);

}

/**

* システム日付を取得する

* @return Date

public static Date getDateTime() {

return Calendar.getInstance().getTime();

}

/**

* 文字列をDate型へ変換する

* @param value(yyyy_mm_dd)

* @return

public static Date stringToDate(String value) {

return stringToDate(value , FORMAT_YYYY_MM_DD);

}

/**

* 文字列をDate型へ変換する

* @param value

* @param pattern

* @return

public static Date stringToDate(String value ,String pattern) {

SimpleDateFormat sdf = new SimpleDateFormat(pattern);

if (value == null) {

return null;

}

try {

return sdf.parse(value);

} catch (ParseException e) {

return null;

}

//ここまで以前から、以降を追加

/**

* 日時文字列をDate変換する

* @param str Date変換したい文字列

* @return Date 取得出来ない場合はnull

* @see あらかじめ文字列パターンが判明している場合は、stringToDateを使用してください）

public static Date extractDate(String str) {

final String[] regexs = {"([0-9]{2,4})(/|-|¥¥.|年)([01]?[0-9])(/|-|¥¥.|月)([0123]?[0-9])(日|日¥¥s+|¥¥s|_)([0-9]{1,2})(:|-|¥¥.|時)([0-9]{1,2})(:|-|¥¥.|分)([0-9]{1,2})",

"([0-9]{2,4})(/|-|¥¥.|年)([01]?[0-9])(/|-|¥¥.|月)([0123]?[0-9])(日|日¥¥s+|¥¥s|_)([0-9]{1,2})(:|-|¥¥.|時)([0-9]{1,2})",

"([0-9]{2,4})(/|-|¥¥.|年)([01]?[0-9])(/|-|¥¥.|月)([0123]?[0-9])(日|日¥¥s+|¥¥s|_)([0-9]{1,2})(:|-|¥¥.|時)",

"([0-9]{2,4})(/|-|¥¥.|年)([01]?[0-9])(/|-|¥¥.|月)([0123]?[0-9])",

};

Date ret = null;

String normStr = Normalizer.normalize(str, Form.NFKC);

try{

String chkStr = StringUtils.removePattern(normStr, "am|AM|Am|pm|PM|Pm|午前|午後");

for(String regex : regexs){

Pattern pattern = Pattern.compile(regex, Pattern.DOTALL|Pattern.CASE_INSENSITIVE);

Matcher matcher = pattern.matcher(chkStr);

if(matcher.find()){

if(matcher.groupCount() >= 5){

boolean isPm = false;

if(normStr.indexOf(matcher.group()) < 0 && matcher.groupCount() >= 7){

if( normStr.matches(".*"+matcher.group(1)+matcher.group(2)+matcher.group(3)+matcher.group(4)+matcher.group(5)+matcher.group(6)+"(pm|PM|pm|午後).*")){

isPm = true;

}

if(matcher.group(1).length() == 2){

ret = DateUtils.setYears(getDateTime(), Integer.valueOf("20" + matcher.group(1)));

}

else{

ret = DateUtils.setYears(getDateTime(), Integer.valueOf(matcher.group(1)));

}

ret = DateUtils.setDays(ret, 1);

//Month is 0 -11

ret = DateUtils.setMonths(ret, Integer.valueOf(matcher.group(3))-1);

ret = DateUtils.setDays(ret, Integer.valueOf(matcher.group(5)));

if(matcher.groupCount() >= 7){

int hour = Integer.valueOf(matcher.group(7));

ret = DateUtils.setHours(ret, hour + (hour<12 && isPm?12:0));

}

else{

ret = DateUtils.setHours(ret, 0);

}

if(matcher.groupCount() >= 9){

ret = DateUtils.setMinutes(ret, Integer.valueOf(matcher.group(9)));

}

else{

ret = DateUtils.setMinutes(ret, 0);

}

if(matcher.groupCount() == 11){

ret = DateUtils.setSeconds(ret, Integer.valueOf(matcher.group(11)));

}

else{

ret = DateUtils.setSeconds(ret, 0);

}

return ret;

}

if(ret == null){

SimpleDateFormat sdf1 = new SimpleDateFormat("EEE MMM dd HH:mm:ss z yyyy",Locale.ENGLISH);

ret = sdf1.parse(chkStr);

}

}catch(Exception e){

return null;

}

return ret;

}

で、テストです。

package test;

import jp.esoro.common.utils.DateUtils;

public class Datetest {
	static String[] dateStrs = {
			"20170131",
			"2017-9-2 15:00:00",
			"2017/9/2 15:25:00",
			"2017年9月2日8時34分51秒",
			"2017年1月2日8時32分",
			"２０１７年１２月３１日午後１１時集合",
			"2017年12月2日8時",
			"2017.12.2 PM8:00",
			"2017.12.3 AM8:25",
			"2017.01.31",
			"2017.1.32"	};

	public static void main(String[] args) {
		for(String str : dateStrs){
			System.out.println(str + " is " + DateUtils.format(DateUtils.extractDate(str),DateUtils.FORMAT_YYYY_MM_DD_HH_MM_SS));
		}
	}
}

package test;

import jp.esoro.common.utils.DateUtils;

public class Datetest {

static String[] dateStrs = {

"20170131",

"2017-9-2 15:00:00",

"2017/9/2 15:25:00",

"2017年9月2日8時34分51秒",

"2017年1月2日8時32分",

"２０１７年１２月３１日午後１１時集合",

"2017年12月2日8時",

"2017.12.2 PM8:00",

"2017.12.3 AM8:25",

"2017.01.31",

"2017.1.32" };

public static void main(String[] args) {

for(String str : dateStrs){

System.out.println(str + " is " + DateUtils.format(DateUtils.extractDate(str),DateUtils.FORMAT_YYYY_MM_DD_HH_MM_SS));

}

テスト結果
20170131 is null
2017-9-2 15:00:00 is 2017/09/02 15:00:00
2017/9/2 15:25:00 is 2017/09/02 15:25:00
2017年9月2日8時34分51秒 is 2017/09/02 08:34:51
2017年1月2日8時32分 is 2017/01/02 08:32:00
２０１７年１２月３１日午後１１時集合 is 2017/12/31 23:00:00
2017年12月2日8時 is 2017/12/02 08:00:00
2017.12.2 PM8:00 is 2017/12/02 20:00:00
2017.12.3 AM8:25 is 2017/12/03 08:25:00
2017.01.31 is 2017/01/31 00:00:00
2017.1.32 is null

YYYYMMDDってのは、ここでは対象外です。だって、ただの数字の羅列は文字として日付とは言えないし。

２年たってバグってた事が判明。１日に戻すのを追加しました。。

ManagedBeanが非推奨になっていた

投稿日時: 2017年7月31日投稿者: bokusui

JavaEEでJSF2とJAX-RSを使った簡単な業務Webアプリを作っていたんですが、それまで作っていた開発環境のままWebLogicでローカルテストしてある程度動作するようになった後に、さすがにこの規模のAPにWebLogicを用意するのは無理！という事になったので、前にちょっと別件で使ってみたglashfish実装のpayaramicroで動くように変更してみました。
　まず、普通にweblogicで動かしていたwarをpayaraにデプロイすると下記エラーで失敗します・・

[[FATAL] No injection source found for a parameter of type public javax.ws.rs.core.Response

　正直あまり意識してなかったのですが、、やっぱりweblogicになると内包しているライブラリに依存しやすく、ちゃんと内部を理解していないと何が作用して動作しているかが解りにくいです。。
　エラーを見る限り、jax-rs関連でエラーになっている模様。
いろいろライブラリを置き換えていくと、既にManagedBeanが非推奨になっているようだ。。
結果pom.xmlは下記になり

<!-- https://mvnrepository.com/artifact/javax.servlet/javax.servlet-api -->
<dependency>
    <groupId>javax.servlet</groupId>
    <artifactId>javax.servlet-api</artifactId>
    <version>3.1.0</version>
    <scope>provided</scope>
</dependency>
<!-- https://mvnrepository.com/artifact/javax.faces/javax.faces-api -->
<dependency>
    <groupId>javax.faces</groupId>
    <artifactId>javax.faces-api</artifactId>
    <version>2.3</version>
    <scope>provided</scope>
</dependency>
<!-- https://mvnrepository.com/artifact/javax.enterprise/cdi-api -->
<dependency>
    <groupId>javax.enterprise</groupId>
    <artifactId>cdi-api</artifactId>
    <version>2.0</version>
    <scope>provided</scope>
</dependency>
<!-- https://mvnrepository.com/artifact/org.glassfish.jersey.containers/jersey-container-servlet -->
<dependency>
    <groupId>org.glassfish.jersey.containers</groupId>
    <artifactId>jersey-container-servlet</artifactId>
    <version>2.25.1</version>
</dependency>

<groupId>javax.servlet</groupId>

<artifactId>javax.servlet-api</artifactId>

<scope>provided</scope>

</dependency>

<groupId>javax.faces</groupId>

<artifactId>javax.faces-api</artifactId>

<scope>provided</scope>

</dependency>

<groupId>javax.enterprise</groupId>

<scope>provided</scope>

</dependency>

<groupId>org.glassfish.jersey.containers</groupId>

<artifactId>jersey-container-servlet</artifactId>

</dependency>

@ManagedBeanを@Namedに置き換え、SessionScopedをjavax.enterprise.contextに変えたりして、ようやくpayaraで動くようになりました。

　で、とりあえず動かすことはできたとは言え、今やWebアプリを積極的にJavaEEで実装する理由が少なくなっている気がします。Wabアプリならphpとかruby on Railsでの大規模サイトの構築事例がたくさんあります。速度的なアドバンテージも今となってはキャッシュにより殆ど感じられないですし、その実装対象のシステムに何等かの制約やレガシーな理由が絡んでないと敢えてJavaEEを選択する理由は何だろう？JavaEEがいまいち普及しないのは結局の所、各実装はベンダー次第となっている事が結果的にアプリケーションサーバの実装次第となってしまい、Javaとして最大の魅力である（と筆者は思っている）OSを超えた一貫性というものが、各APサーバが内包しているライブラリがバラバラである事により、消え失せてしまっているような気がします。

JavaMailで送信日時が取得できないケースがある

投稿日時: 2017年7月8日投稿者: bokusui

　メールを受信する業務用ツールをJavaMailで実装して、かれこれ一年近く普通に使っていたのですが、新しい要件に沿った機能を追加してテストしていたところ、メールの送信日時を取得
javax.mail.Message.getSentDate()
でnullを想定しておらずエラーに。。
これまで何も問題がなかったのですが、どうもメールによっては取れないケースがある模様。
メールをemlファイルにして中身をエディタで見たところ、

問題無いケース　Date: Fri, 23 Jun 2017 11:23:10 +0900
問題有るケース　Date: Tue Jun 6 12:31:19 2017

　で、試しにemlファイルのDateヘッダを問題無いケースに書き換えてやってみたところ、普通にJavaMailで送信日時が取れた、、という事は？

　細かくは調べてませんが、問題となるメールはDate書式がMIMEの仕様に沿っていないようです。
仕様に沿っていないのか、仕様が明確でないのか、もしかして、仕様が明確になる前からあるSMTPサーバなのか・・？

　OutLook等の一般的なメーラーで見る限り、普通に送信日時として表示されます。
こういう場合、メールを受信する側からすれば、細かい箇所が仕様に沿っていなくても、問題無く処理できるものを用意しなくてはなりません。
とはいえ、なかなか事前に想定するのは難しく、メールみたいに昔からあるものは特に注意しなければいけませんね。。

backlog4jで課題を登録してみる

投稿日時: 2017年4月22日投稿者: bokusui

今度は、backlogへの課題登録を自動化したいという話があり、前回のredmineと似通った要件なので再利用箇所も多く、redmine java api部分をヌーラボ公認のbacklog4jに置き換えて実装してみました。
redmineとの違いはそれなりにありますが、backlog4jの方はKeyとIDを混同しやすい感じがします。例えば、課題のKeyはURLを見ればすぐ解りますが、IDの方は内部的なユニークな数値です。これに注意しながらbacklog用に前回のラッパークラスを置き換えてみました。

import java.net.MalformedURLException;
import java.util.ArrayList;
import java.util.List;

import org.apache.commons.lang3.StringUtils;

import com.nulabinc.backlog4j.BacklogClient;
import com.nulabinc.backlog4j.BacklogClientFactory;
import com.nulabinc.backlog4j.Category;
import com.nulabinc.backlog4j.Issue;
import com.nulabinc.backlog4j.IssueComment;
import com.nulabinc.backlog4j.IssueType;
import com.nulabinc.backlog4j.Project;
import com.nulabinc.backlog4j.Status;
import com.nulabinc.backlog4j.api.option.AddIssueCommentParams;
import com.nulabinc.backlog4j.api.option.CreateIssueParams;
import com.nulabinc.backlog4j.api.option.GetIssuesParams;
import com.nulabinc.backlog4j.api.option.UpdateIssueParams;
import com.nulabinc.backlog4j.conf.BacklogConfigure;
import com.nulabinc.backlog4j.conf.BacklogJpConfigure;
import com.nulabinc.backlog4j.conf.BacklogPackageConfigure;

public class BacklogRegist {
	
	private BacklogClient backlog;
		
	public BacklogRegist(String url, String apikey) throws MalformedURLException  {
		
		BacklogConfigure conf = null;
		//オンプレ環境
		if(url.startsWith("http")){
			conf = new BacklogPackageConfigure(url);
		}
		//クラウド
		else{
			conf = new BacklogJpConfigure(url);
		}
		conf.apiKey(apikey);
 		backlog = new BacklogClientFactory(conf).newClient();
				
		
	}
	/**
	 * 課題を取得する
	 * @param issueKey
	 * */
	public Issue getIssue(String issueKey){
		
		if(issueKey == null){
			return null;
		}
		return getIssue = backlog.getIssue(issueKey);
	}
	/**
	 * 課題を作成する
	 * @param projectKey
	 * @param  issueTypeName 種別名称
	 * @param categoryName カテゴリ名称
	 * @param summary 件名
	 * @param description 詳細
	 * @return ticketID 0は登録失敗
	 * */
	public long regist(String projectKey, String issueTypeName, String categoryName, 
						String summary, String description){
		
		CreateIssueParams param = new CreateIssueParams(
				getProjectID(projectKey), summary,
				getIssueTypeId(projectKey, issueTypeName), Issue.PriorityType.Normal);
		
		param.description(description);
		
		if(StringUtils.isNotEmpty(categoryName)){
			List<String> categoryIds = new ArrayList<String>();
			categoryIds.add(getCategoryId(projectKey, categoryName));		
			param.categoryIds(categoryIds);
		}
		
		Issue issue = backlog.createIssue(param);
		if(issue != null){
			return issue.getId();
		}
		return 0;
	}
	
	/**
	 * 課題を更新する（コメントの追加も可能）
	 * @param projectKey プロジェクトKey
	 * @param  issueIdorKey 課題IDまたはKey 
	 * @param status ステータス名称（更新しなければセットしない）
	 * @param addComment  更新なければセットしない
	 * @return commentID 0は登録失敗
	 * */
	public long update(String issueIdorKey, String status, String addComment){
		long ret = 0;
		Issue issue = null;
		
		if(StringUtils.isNotEmpty(status)){
			UpdateIssueParams param = new UpdateIssueParams(issueIdorKey);
			for( Status Entity: backlog.getStatuses()){
				if( Entity.getName().equals(status)){
					param.status(Entity.getStatusType());
				}
			}
			issue = backlog.updateIssue(param);
		}
		else{
			issue = backlog.getIssue(issueIdorKey);
		}
		if(StringUtils.isNotEmpty(addComment)){
			AddIssueCommentParams params = new AddIssueCommentParams(issue.getIssueKey(), addComment);

			IssueComment cmt = backlog.addIssueComment(params);
			ret = cmt.getId();
		}
		else{
			ret = issue.getId();
		}
		return ret;
	}

	/**
	 * 課題にコメントを追加する
	 * @param projectKey
	 * @param  issueKey
	 * @param addComment
	 * @return commentID 0は登録失敗
	 * */
	public long addComment(String issueKey, String addComment){
		Issue issue = backlog.getIssue(issueKey);
		
		if( issue != null){
			AddIssueCommentParams params = new AddIssueCommentParams(issue.getIssueKey(), addComment);

			IssueComment cmt = backlog.addIssueComment(params);
			return cmt.getId();
			
		}
		return 0;
	}

	/**
	 * 課題のタイプ(種別)を取得する
	 * @param prjKey プロジェクトキー
	 * @param name 種別名称
	 * */
	public String getIssueTypeId(String projectKey, String name){
		for( IssueType type: backlog.getIssueTypes(projectKey)){
			if( type.getName().equals(name)){
				return type.getIdAsString();
			}
		}
		return null;
	}
	
	/**
	 * カテゴリを取得する
	 * @param prjKey プロジェクトキー
	 * @param name 種別名称
	 * */
	public String getCategoryId(String projectKey, String name){
		for( Category type: backlog.getCategories(projectKey)){
			if( type.getName().equals(name)){
				return type.getIdAsString();
			}
		}
		return null;
	}
	/**
	 * プロジェクトIDを取得する
	 * @param prjKey プロジェクトキー
	 * @return Projectid
	 * */
	public String getProjectID(String projectKey){
		for( Project type: backlog.getProjects()){
			if( type.getProjectKey().equals(projectKey)){
				return type.getIdAsString();
			}
		}
		return null;
	}
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

import java.net.MalformedURLException;

import java.util.ArrayList;

import java.util.List;

import org.apache.commons.lang3.StringUtils;

import com.nulabinc.backlog4j.BacklogClient;

import com.nulabinc.backlog4j.BacklogClientFactory;

import com.nulabinc.backlog4j.Category;

import com.nulabinc.backlog4j.Issue;

import com.nulabinc.backlog4j.IssueComment;

import com.nulabinc.backlog4j.IssueType;

import com.nulabinc.backlog4j.Project;

import com.nulabinc.backlog4j.Status;

import com.nulabinc.backlog4j.api.option.AddIssueCommentParams;

import com.nulabinc.backlog4j.api.option.CreateIssueParams;

import com.nulabinc.backlog4j.api.option.GetIssuesParams;

import com.nulabinc.backlog4j.api.option.UpdateIssueParams;

import com.nulabinc.backlog4j.conf.BacklogConfigure;

import com.nulabinc.backlog4j.conf.BacklogJpConfigure;

import com.nulabinc.backlog4j.conf.BacklogPackageConfigure;

public class BacklogRegist {

private BacklogClient backlog;

public BacklogRegist(String url, String apikey) throws MalformedURLException {

BacklogConfigure conf = null;

//オンプレ環境

if(url.startsWith("http")){

conf = new BacklogPackageConfigure(url);

}

//クラウド

else{

conf = new BacklogJpConfigure(url);

}

conf.apiKey(apikey);

backlog = new BacklogClientFactory(conf).newClient();

}

/**

* 課題を取得する

* @param issueKey

* */

public Issue getIssue(String issueKey){

if(issueKey == null){

return null;

}

return getIssue = backlog.getIssue(issueKey);

}

/**

* 課題を作成する

* @param projectKey

* @param issueTypeName 種別名称

* @param categoryName カテゴリ名称

* @param summary 件名

* @param description 詳細

* @return ticketID 0は登録失敗

* */

public long regist(String projectKey, String issueTypeName, String categoryName,

String summary, String description){

CreateIssueParams param = new CreateIssueParams(

getProjectID(projectKey), summary,

getIssueTypeId(projectKey, issueTypeName), Issue.PriorityType.Normal);

param.description(description);

if(StringUtils.isNotEmpty(categoryName)){

List<String> categoryIds = new ArrayList<String>();

categoryIds.add(getCategoryId(projectKey, categoryName));

param.categoryIds(categoryIds);

}

Issue issue = backlog.createIssue(param);

if(issue != null){

return issue.getId();

}

return 0;

}

/**

* 課題を更新する（コメントの追加も可能）

* @param projectKey プロジェクトKey

* @param issueIdorKey 課題IDまたはKey

* @param status ステータス名称（更新しなければセットしない）

* @param addComment 更新なければセットしない

* @return commentID 0は登録失敗

* */

public long update(String issueIdorKey, String status, String addComment){

long ret = 0;

Issue issue = null;

if(StringUtils.isNotEmpty(status)){

UpdateIssueParams param = new UpdateIssueParams(issueIdorKey);

for( Status Entity: backlog.getStatuses()){

if( Entity.getName().equals(status)){

param.status(Entity.getStatusType());

}

issue = backlog.updateIssue(param);

}

else{

issue = backlog.getIssue(issueIdorKey);

}

if(StringUtils.isNotEmpty(addComment)){

AddIssueCommentParams params = new AddIssueCommentParams(issue.getIssueKey(), addComment);

IssueComment cmt = backlog.addIssueComment(params);

ret = cmt.getId();

}

else{

ret = issue.getId();

}

return ret;

}

/**

* 課題にコメントを追加する

* @param projectKey

* @param issueKey

* @param addComment

* @return commentID 0は登録失敗

* */

public long addComment(String issueKey, String addComment){

Issue issue = backlog.getIssue(issueKey);

if( issue != null){

AddIssueCommentParams params = new AddIssueCommentParams(issue.getIssueKey(), addComment);

IssueComment cmt = backlog.addIssueComment(params);

return cmt.getId();

}

return 0;

}

/**

* 課題のタイプ(種別)を取得する

* @param prjKey プロジェクトキー

* @param name 種別名称

* */

public String getIssueTypeId(String projectKey, String name){

for( IssueType type: backlog.getIssueTypes(projectKey)){

if( type.getName().equals(name)){

return type.getIdAsString();

}

return null;

}

/**

* カテゴリを取得する

* @param prjKey プロジェクトキー

* @param name 種別名称

* */

public String getCategoryId(String projectKey, String name){

for( Category type: backlog.getCategories(projectKey)){

if( type.getName().equals(name)){

return type.getIdAsString();

}

return null;

}

/**

* プロジェクトIDを取得する

* @param prjKey プロジェクトキー

* @return Projectid

* */

public String getProjectID(String projectKey){

for( Project type: backlog.getProjects()){

if( type.getProjectKey().equals(projectKey)){

return type.getIdAsString();

}

return null;

}

上記を呼び出すのはこんな感じ

BacklogRegist backlog = new BacklogRegist("{URLまたはスペースID}","{apiKey}");

//チケット取得
Issue issue = backlog.getIssue("PROJECT-3");

//チケット登録
long issueId = backlog.regist("PROJECT", "要望", "設定変更",  
	"ユーザーの追加について", "○○さんを追加してください");

BacklogRegist backlog = new BacklogRegist("{URLまたはスペースID}","{apiKey}");

//チケット取得

Issue issue = backlog.getIssue("PROJECT-3");

//チケット登録

long issueId = backlog.regist("PROJECT", "要望", "設定変更",

"ユーザーの追加について", "○○さんを追加してください");

後日談
GetIssieで３ヶ月経って問題発生・・・たまに課題の取得に失敗するようになりました・・・
下記のようにしましたが、最初からそうしろ！って事ですね。でも、３ヶ月は何も問題なかったのですが・・
public Issue getIssue(String issueKey)

Issue getIssue = backlog.getIssue(issueKey);

1	Issue getIssue = backlog.getIssue(issueKey);

ESORO system design

「Java」カテゴリーアーカイブ

AWS CodePipelineでspringbootアプリをECSへデプロイしてみた

Swagger + SpringBoot で APIサイトを作ってみる

NTLM認証のサイトからファイルをダウンロードする

SpringBootでWebアプリが動かない

SpringBootのCacheにCSVを入れてみた

google-http-clientを使ってみた

Apache CommonsのDateUtilsに機能を拡張する

ManagedBeanが非推奨になっていた

JavaMailで送信日時が取得できないケースがある

backlog4jで課題を登録してみる

2025年4月
日	月	火	水	木	金	土
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30