ROBOCOPY再び

投稿日時: 2018年11月30日投稿者: bokusui

　Windows端末にインストールする形で提供しているアプリについて、変更都度インストールしなきゃいけないのが面倒という話があり、ファイルサーバからリソースをコピーする形にしようと思います。
　対象のアプリは下記のようなフォルダ構成で、基本的に初期インストール以外はファイルを配置するのみです。

アプリルートフォルダ¥src
アプリルートフォルダ¥img
アプリルートフォルダ¥data
アプリルートフォルダ¥log

　上記フォルダのうち、logとdataのフォルダはコピー対象外となります。
　また、アプリ変更時は数人に先行して使ってもらって評価した後に他の利用者へ配布するという運用なので、端末側に新しいリソースがある場合はコピーしないようにします。

結果こうなりました。

robocopy ファイルサーバの所定フォルダアプリルートフォルダ /E /XO /XD log data /NDL /NFL /NJH /R:2 /W:3

前回使ったrobocopyコマンドを参考に、/XD でlogとdataのフォルダを対象外にし、/E /XO /XD で端末側が新しければコピーしないという形にします。

Swagger + SpringBoot で APIサイトを作ってみる

投稿日時: 2018年10月30日投稿者: bokusui

既存システムのDBへアクセスしてデータを参照するようなAPIを、って事で、
SwaggerでAPIを定義し、Swaggerから自動生成したソースを使って実装してみました。
なお、今回対象としているのは参照系がメインでRESTって雰囲気ではありません。
対象が既存システムのDBなので。。

とりあえず、ざっくりとした要求と応答の仕様を整理し、Swagger Editorにyamlを書いてみます。

なお、Swagger Editorは、別件で使っていた端末内のxampp/htdocsにGitHubからダウンロードしたZIPを解凍して使ってます。
ある程度、定義を書いた後、Swagger EditorからGenerate ServerでSpringのサーバソースを出力してみます。

自動生成されたJavaソースはこんな構成です。

Controllerとレスポンスエンティティのモデルが揃ってます。全体的なソース構成は、コントローラ層、サービス層、データアクセス層という３構成になりますかね。
コントローラ層は概ねSwaggerで生成したので、データアクセス層も自動生成しようと、Doma2を使ってみます。
doma-gen-build.xmlに接続先DB情報と出力先ソースの設定等を記述し、こちらもGenerate!

結果、ソースを手書きする必要があるのは、

・サービス層全体

・Swaggerで自動生成されたSpringBootApplicationクラスのComponentScanにサービス層のパッケージを追記
　　@ComponentScan(basePackages = { “io.swagger”, “io.swagger.api”,”jp.esoro.api” })

・Swaggerで自動生成されたControllerにServiceをコールする箇所を追記

・DAOインターフェースに下記アノテーションを追記
@ConfigAutowireable
@Repository

・自動生成不可能なSQL文の作成し、それに合わせてDAOにメソッド追加

といったところで、とりあえずの動作確認が出来ました。

ただ、実用するには認証やページング等も必要なので、こんな単純な話にはなりませんし、APIの仕様をちゃんと整理してからSwaggerでソースを生成して着手しないと後が面倒ですね。

NTLM認証のサイトからファイルをダウンロードする

投稿日時: 2018年8月16日投稿者: bokusui

SpringBootで作成中のアプリに、企業内のWebサイトよりエクセルファイルをダウンロードする要件があったので、何となくBasic認証のサイトだろうなと思い込んで実装を始めましたが全然繋がりません。

wget ‘http://username:password@filestore.bbb.co.jp/web/download/downloadfile.xlsx’
でファイルは取れます。

でも、
curl ‘http://username:password@filestore.bbb.co.jp/web/download/downloadfile.xlsx’
では動きません。

試しにwgetをデバッグモードでやってみて気が付きました。。

WWW-Authenticate: NTLM

このサイト、NTLM認証ですね。。

下記を参考に認証箇所を変更
http://code-addict.pl/reporting-services-rest-url-client/

また依存が増えてしまいましたが。。

       <dependency>
		<groupId>org.apache.httpcomponents</groupId>
		<artifactId>httpclient</artifactId>
		<version>4.5.6</version>
	</dependency>

<groupId>org.apache.httpcomponents</groupId>

<artifactId>httpclient</artifactId>

</dependency>

ダウンロードファイルが更新されていた時だけダウンロードするという対応も必要なので、サーバ内にダウンロードしたローカルファイルとサイト上のファイルタイムスタンプをチェックし、一致しなければファイルをダウンロードしタイムスタンプをサイト上と同じ時間に書き換えるという対応になりました。

で、タイムスタンプはどこ？ここに書いてました。

確かにhttpヘッダに
Last-Modified:Tue, 14 Aug 2018 08:53:30 GMT
と書いてあります。

結局、こんな感じのコンポーネントを用意しました。

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.attribute.FileTime;
import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Locale;

import org.apache.http.auth.AuthScope;
import org.apache.http.auth.NTCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.springframework.stereotype.Component;

@Component
public class FileDownLoader {
	public void donwLoadFile(String fileName) throws IOException, ParseException{

		FileTime beforeT = null;
        Path path = Paths.get("/localpath/" + fileName);
		try{
			//更新前ファイルのタイムスタンプ取得
			beforeT = Files.getLastModifiedTime(path);
		} catch (Exception ex) {
			//新規ファイル
		}
        String url = "http://filestore.bbb.co.jp/web/download/" +fileName;
    	CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
        credentialsProvider.setCredentials(AuthScope.ANY,
                 new NTCredentials("username", "password", null, null));
        HttpGet httpGet = new HttpGet(url);
         
        CloseableHttpClient httpclient = HttpClientBuilder
                 .create()
                 .setDefaultCredentialsProvider(credentialsProvider)
                 .build();
         
        CloseableHttpResponse closeableHttpResponse = httpclient.execute(httpGet);
         
        FileTime modTime = beforeT;
        if( closeableHttpResponse.getAllHeaders() != null){
        	DateFormat df = new SimpleDateFormat("EEE, d MMM yyyy HH:mm:ss Z", Locale.ENGLISH);
        	modTime = FileTime.from(df.parse(closeableHttpResponse.getFirstHeader("Last-Modified").getValue()).toInstant());
        }
        //更新無し
		if(beforeT != null && beforeT.compareTo(modTime) == 0){
			closeableHttpResponse.close();
			return;
		}
        Files.write(path, EntityUtils.toByteArray(closeableHttpResponse.getEntity()));
        //更新日時タイムスタンプ書き換え
        Files.setLastModifiedTime(path, modTime);
		closeableHttpResponse.close();
	}
}

import java.io.IOException;

import java.nio.file.Files;

import java.nio.file.Path;

import java.nio.file.Paths;

import java.nio.file.attribute.FileTime;

import java.text.DateFormat;

import java.text.ParseException;

import java.text.SimpleDateFormat;

import java.util.Locale;

import org.apache.http.auth.AuthScope;

import org.apache.http.auth.NTCredentials;

import org.apache.http.client.CredentialsProvider;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.impl.client.BasicCredentialsProvider;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClientBuilder;

import org.apache.http.util.EntityUtils;

import org.springframework.stereotype.Component;

@Component

public class FileDownLoader {

public void donwLoadFile(String fileName) throws IOException, ParseException{

FileTime beforeT = null;

Path path = Paths.get("/localpath/" + fileName);

try{

//更新前ファイルのタイムスタンプ取得

beforeT = Files.getLastModifiedTime(path);

} catch (Exception ex) {

//新規ファイル

}

String url = "http://filestore.bbb.co.jp/web/download/" +fileName;

CredentialsProvider credentialsProvider = new BasicCredentialsProvider();

credentialsProvider.setCredentials(AuthScope.ANY,

new NTCredentials("username", "password", null, null));

HttpGet httpGet = new HttpGet(url);

CloseableHttpClient httpclient = HttpClientBuilder

.create()

.setDefaultCredentialsProvider(credentialsProvider)

.build();

CloseableHttpResponse closeableHttpResponse = httpclient.execute(httpGet);

FileTime modTime = beforeT;

if( closeableHttpResponse.getAllHeaders() != null){

DateFormat df = new SimpleDateFormat("EEE, d MMM yyyy HH:mm:ss Z", Locale.ENGLISH);

modTime = FileTime.from(df.parse(closeableHttpResponse.getFirstHeader("Last-Modified").getValue()).toInstant());

}

//更新無し

if(beforeT != null && beforeT.compareTo(modTime) == 0){

closeableHttpResponse.close();

return;

}

Files.write(path, EntityUtils.toByteArray(closeableHttpResponse.getEntity()));

//更新日時タイムスタンプ書き換え

Files.setLastModifiedTime(path, modTime);

closeableHttpResponse.close();

}

テストしてみます。

@RunWith(SpringRunner.class)
@SpringBootTest(classes = UoeautomailApplication.class)
public class DownloadTest throws Exception{

	@Autowired
	FileDownLoader fileDownLoader;

 	@Test
	public void test(){
  	   	fileDownLoader.donwLoadFile("aaa.xlsx");
	}
}

@RunWith(SpringRunner.class)

@SpringBootTest(classes = UoeautomailApplication.class)

public class DownloadTest throws Exception{

@Autowired

FileDownLoader fileDownLoader;

@Test

public void test(){

fileDownLoader.donwLoadFile("aaa.xlsx");

}

とりえあず、動いたので整理してから実装します。

SpringBootでWebアプリが動かない

投稿日時: 2018年7月30日投稿者: bokusui

　作りかけのSpringBootのRestアプリを別端末の開発環境（Windows＋EclipseSTS＋Maven）へ移行して動かしてみたところ、ブラウザからURLを打ち込んでも、RestControllerがうんともすんともいいません。元々の環境では普通に動作していたのですが。。
　困ったな・・と別環境への移行を諦めようかと思っていたところ、よく見るとSpring実行時のログ出力に下記を発見

[ERROR] C:\Users\admin\.m2\repository\org\apache\tomcat\embed\tomcat-embed-core\8.5.31\tomcat-embed-core-8.5.31.jarの読込みエラーです。invalid LOC header (bad signature)

　とりあえず該当のC:\Users\admin\.m2\repository\org\apache\tomcat\embed\tomcat-embed-core\8.5.31 内のファイルを全て消して再度、プロジェクト→実行→Maven install実施。
すると何事も無く動き始めました。。

2018-07-30 15:18:55.806 INFO 14844 --- [ main] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat started on port(s): 8090 (http) with context path ''

こういった問題はあまり深く考えても詮無き事。。
なお、デフォルトの8080ポートは他アプリと被ってたので、application.ymlに
server: port: 8090

と書いています。

SpringBootのCacheにCSVを入れてみた

投稿日時: 2018年7月22日投稿者: bokusui

　別のところで開発してもらったSpringBootのソースを引き取って機能追加の対応をしているのですが、毎日定時に更新されるCSVファイルをマスターデータとして使用するという要件が含まれてました。
　CSVをそのまま処理の都度読み込むのもイマイチだし、今回はSpringBootのアプリケーションなんで、SpringBootCacheを使ってみる事にしました。

今回の要件的にCacheとしてはConcurrentMapCacheでこと足りそうなので、実装前に下記サイトの住所CSV関東版を使って試してみます。
住所データのダウンロードサイト【住所.jp】

まず適当にエンティティを・・

import java.io.Serializable;

public class Address implements Serializable {

	private static final long serialVersionUID = 1L;

	/** 都道府県コード */ 
	private String prefid;
	
	/** 郵便番号 */
	private String zipCode;
	
	/** 都道府県名 */
	private String prefName;
	
	/** 住所 */
	private String addressName;
	
以下、GetterSetterは省略・・

import java.io.Serializable;

public class Address implements Serializable {

private static final long serialVersionUID = 1L;

/** 都道府県コード */

private String prefid;

/** 郵便番号 */

private String zipCode;

/** 都道府県名 */

private String prefName;

/** 住所 */

private String addressName;

以下、GetterSetterは省略・・

キャッシュ設定のevictスケジュールについては、ここではテストなので１分でクリアし、クリアした事がわかるように出力してます。実際には日次CSVファイル更新処理が終わった後くらいに動作するようにします。

import org.springframework.cache.CacheManager;
import org.springframework.cache.annotation.CacheEvict;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.cache.concurrent.ConcurrentMapCacheManager;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;

@Configuration
@EnableCaching
@EnableScheduling
public class CachingConfig {
	private final String cacheName = "AddressInfo";
	@Bean
    public CacheManager cacheManager() {
		ConcurrentMapCacheManager manager =  new ConcurrentMapCacheManager(cacheName);
		return manager;
    }
    @CacheEvict(allEntries = true, value = {cacheName})
    @Scheduled(fixedDelay = 60 * 1000 ,  initialDelay = 0)
    public void cacheEvict() {
    	System.out.println("evict!");
    }
}

import org.springframework.cache.CacheManager;

import org.springframework.cache.annotation.CacheEvict;

import org.springframework.cache.annotation.EnableCaching;

import org.springframework.cache.concurrent.ConcurrentMapCacheManager;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.scheduling.annotation.EnableScheduling;

import org.springframework.scheduling.annotation.Scheduled;

@Configuration

@EnableCaching

@EnableScheduling

public class CachingConfig {

private final String cacheName = "AddressInfo";

@Bean

public CacheManager cacheManager() {

ConcurrentMapCacheManager manager = new ConcurrentMapCacheManager(cacheName);

return manager;

}

@CacheEvict(allEntries = true, value = {cacheName})

@Scheduled(fixedDelay = 60 * 1000 , initialDelay = 0)

public void cacheEvict() {

System.out.println("evict!");

}

で、サービスを作りますが、ここでCSVのデータを全部キャッシュに突っ込みます。CSV読み込みについてはこちらを参考にさせて頂きました。

事前にapplication.ymlに下記を書いておきます。

  jp:
    esoro:
      master:
        address: /var/lib/ap/data/kanto.csv

jp:

esoro:

master:

address: /var/lib/ap/data/kanto.csv

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVRecord;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cache.annotation.Cacheable;
import org.springframework.stereotype.Service;

@Service
public class AddressService {
	
	protected static Logger logger = LogManager.getLogger();

	@Value("${jp.esoro.master.address}")
	String csvPath;

	@Cacheable("AddressInfo")
	public Map<String,Address> getAll() {
		BufferedReader in = null;
		Map<String,Address> list = new HashMap<String,Address>();
logger.info("readCSV");
		try{
			in = new BufferedReader(new InputStreamReader(new FileInputStream(new File(csvPath)),"MS932"));
			CSVParser parser = CSVFormat
			        .EXCEL                                        // ExcelのCSV形式を指定
			        .withIgnoreEmptyLines(true)                   // 空行を無視する
			        .withSkipHeaderRecord()                       // 最初の行をヘッダーとして読み飛ばす
			        .withIgnoreSurroundingSpaces(false)           // 値をtrimして取得する
			        .withRecordSeparator(System.getProperty("line.separator"))
			        .withDelimiter(',')
			        .withQuote('"')
			        .parse(in);

			// CSVのレコードを取得
		    List<CSVRecord> pList = parser.getRecords();

		    for(int i = 0 ; i < pList.size() ; i++ ){
		    	CSVRecord rec = pList.get(i);
		    	Address inf = new Address();
		    	inf.setPrefid(rec.get(1));
		    	inf.setZipCode(rec.get(4));
		    	inf.setPrefName(rec.get(7));
		    	inf.setAddressName(rec.get(9)+rec.get(11)+rec.get(13));
		    	list.put(rec.get(0), inf);
		    }
		} catch (Exception e) {
			logger.error("csv read error", e);
			 
		} finally{
			if (in != null){
				try {
					in.close();
				} catch (IOException e) {
				}
			}
		}
	    return list;
	}
}

import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.IOException;

import java.io.InputStreamReader;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import org.apache.commons.csv.CSVFormat;

import org.apache.commons.csv.CSVParser;

import org.apache.commons.csv.CSVRecord;

import org.apache.logging.log4j.LogManager;

import org.apache.logging.log4j.Logger;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.cache.annotation.Cacheable;

import org.springframework.stereotype.Service;

@Service

public class AddressService {

protected static Logger logger = LogManager.getLogger();

@Value("${jp.esoro.master.address}")

String csvPath;

@Cacheable("AddressInfo")

public Map<String,Address> getAll() {

BufferedReader in = null;

Map<String,Address> list = new HashMap<String,Address>();

logger.info("readCSV");

try{

in = new BufferedReader(new InputStreamReader(new FileInputStream(new File(csvPath)),"MS932"));

CSVParser parser = CSVFormat

.EXCEL // ExcelのCSV形式を指定

.withIgnoreEmptyLines(true) // 空行を無視する

.withSkipHeaderRecord() // 最初の行をヘッダーとして読み飛ばす

.withIgnoreSurroundingSpaces(false) // 値をtrimして取得する

.withRecordSeparator(System.getProperty("line.separator"))

.withDelimiter(',')

.withQuote('"')

.parse(in);

// CSVのレコードを取得

List<CSVRecord> pList = parser.getRecords();

for(int i = 0 ; i < pList.size() ; i++ ){

CSVRecord rec = pList.get(i);

Address inf = new Address();

inf.setPrefid(rec.get(1));

inf.setZipCode(rec.get(4));

inf.setPrefName(rec.get(7));

inf.setAddressName(rec.get(9)+rec.get(11)+rec.get(13));

list.put(rec.get(0), inf);

}

} catch (Exception e) {

logger.error("csv read error", e);

} finally{

if (in != null){

try {

in.close();

} catch (IOException e) {

}

return list;

}

依存しているものです

	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.2.RELEASE</version>
	</parent>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-keyvalue</artifactId>
        </dependency>
		<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-cache</artifactId>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-csv -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-csv</artifactId>
            <version>1.5</version>
        </dependency>
    </dependencies>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-parent</artifactId>

<version>2.0.2.RELEASE</version>

</parent>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter</artifactId>

</dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-test</artifactId>

</dependency>

<groupId>org.springframework.data</groupId>

<artifactId>spring-data-keyvalue</artifactId>

</dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-cache</artifactId>

</dependency>

<groupId>org.apache.commons</groupId>

<artifactId>commons-csv</artifactId>

</dependency>

</dependencies>

最後にテストを書いて効果を確認します。

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import jp.esoro.cache.domain.model.address.AddressService;

@RunWith(SpringRunner.class)
@SpringBootTest(classes = CacheApplication.class)
public class CacheTest {

	protected static Logger logger = LogManager.getLogger();

	@Autowired
	AddressService addressInfo;

	@Test
    public void testCache1() {
		
		for(int i = 0 ; i < 10;i++) {
			logger.info("get start");
			logger.info(addressInfo.getAll().get("299190600").getAddressName());
			logger.info(addressInfo.getAll().get("299190600").getAddressName());
			logger.info(addressInfo.getAll().get("161871000").getAddressName());
			try {
				Thread.sleep(1000*64);
			} catch (InterruptedException e) {
			}
		}
	}
}

import org.apache.logging.log4j.LogManager;

import org.apache.logging.log4j.Logger;

import org.junit.Test;

import org.junit.runner.RunWith;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.boot.test.context.SpringBootTest;

import org.springframework.test.context.junit4.SpringRunner;

import jp.esoro.cache.domain.model.address.AddressService;

@RunWith(SpringRunner.class)

@SpringBootTest(classes = CacheApplication.class)

public class CacheTest {

protected static Logger logger = LogManager.getLogger();

@Autowired

AddressService addressInfo;

@Test

public void testCache1() {

for(int i = 0 ; i < 10;i++) {

logger.info("get start");

logger.info(addressInfo.getAll().get("299190600").getAddressName());

logger.info(addressInfo.getAll().get("161871000").getAddressName());

try {

Thread.sleep(1000*64);

} catch (InterruptedException e) {

}

テスト結果です。

evict!
2018-07-22 15:24:13.023  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : Started CacheTest in 2.497 seconds (JVM running for 3.93)
2018-07-22 15:24:13.201  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:24:13.215  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:24:13.684  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:24:13.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:24:13.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽
evict!
2018-07-22 15:25:17.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:25:17.687  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽
evict!
2018-07-22 15:26:22.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:26:22.119  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽

evict!

2018-07-22 15:24:13.023 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : Started CacheTest in 2.497 seconds (JVM running for 3.93)

2018-07-22 15:24:13.201 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:24:13.215 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:24:13.684 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:24:13.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:24:13.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

evict!

2018-07-22 15:25:17.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:25:17.687 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:25:18.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:25:18.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

evict!

2018-07-22 15:26:22.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:26:22.119 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:26:22.309 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:26:22.309 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

CSVを読んだ場合500ms程度ですが、キャッシュが効いてると殆ど1ms以内の世界です。
こりゃいい感じですね！

google-http-clientを使ってみた

投稿日時: 2018年5月31日投稿者: bokusui

　とあるWebAPIサービスを提供しているサイトへアクセスするクライアントをjavaで書こうかと、最初はjerseyを試してみたのですが、これがなかなか厄介で、次から次と依存が判明して動作するまで一苦労。。
最終的には、とあるサイト側の認証における制約により、jerseyの仕様ではどうやってもアクセスが出来ない事が判明。。

　失敗の原因は概ね当たりが付いていたので、その辺りに問題が無さそうなライブラリとしてgoogle-http-clientを使うことにしました。
　jerseyで途中まで実装していたものをそのままgoogle-http-clientを使う形に置き換えて疎通確認レベルまでやってみます。

		String jsonStr = "{¥"param1¥" : ¥"XXXXX¥"}";
		HttpTransport transport = new ApacheHttpTransport();
        HttpRequestFactory factory = transport.createRequestFactory();

        GenericUrl url = new GenericUrl("https://aaa.bbb.jp/api/method");
        
        HttpRequest request = factory.buildPostRequest(url, ByteArrayContent.fromString("application/json", jsonStr ));

		request.setConnectTimeout(30 * 1000);
		request.setReadTimeout(60 * 1000);
        HttpHeaders headers = request.getHeaders();
        headers.setContentType("application/json");
        headers.set("x-header1", "xxxxx");
        headers.set("x-header2", "yyyyy");
		String accessToken = generateToken(); //こちらはサイト要件に合わせて別途用意
        headers.setAuthorization(accessToken);
		
		response = request.execute();
		try{
			String respJsonStr = response.parseAsString();
	    } finally {
	        response.disconnect();
	    }
		//パース処理に続く・・・

String jsonStr = "{¥"param1¥" : ¥"XXXXX¥"}";

HttpTransport transport = new ApacheHttpTransport();

HttpRequestFactory factory = transport.createRequestFactory();

GenericUrl url = new GenericUrl("https://aaa.bbb.jp/api/method");

HttpRequest request = factory.buildPostRequest(url, ByteArrayContent.fromString("application/json", jsonStr ));

request.setConnectTimeout(30 * 1000);

request.setReadTimeout(60 * 1000);

HttpHeaders headers = request.getHeaders();

headers.setContentType("application/json");

headers.set("x-header1", "xxxxx");

headers.set("x-header2", "yyyyy");

String accessToken = generateToken(); //こちらはサイト要件に合わせて別途用意

headers.setAuthorization(accessToken);

response = request.execute();

try{

String respJsonStr = response.parseAsString();

} finally {

response.disconnect();

}

//パース処理に続く・・・

　google-http-clientは依存が無く構成がとてもシンプルで置き換えた途端に、サックリとAPIアクセスに成功しました。proxy経由でもJVM引数で指定してあっさり通りました。

　細かいところでは、どうも指定したタイムアウトは効いてないような気がしますが、まあ、今回の実務上問題無さそうなので、利用しやすいように整理して実装しようと思います。

　だいぶ経って2019年1月現在、久しぶりに使ってみると、当時のバージョン1.23と現在の1.28では仕様が変わっており上記のままでは動かなくなりました。。

ADOでCSVファイルを読み込むと255文字以上でエラーになる

投稿日時: 2018年3月22日投稿者: bokusui

　ちょっと前にVBScriptで作られたツールがあるのですが、最近になってエラーが出るとの連絡。
エラーになるケースは、CSVファイルを読み込んで255Byteを超えている値を扱う時と判明。
対象のツールは実装上ADOが使われており、下記のようにCSVへアクセスしてます。

Set objADO = CreateObject("ADODB.Connection")
objADO.Open "Driver={Microsoft Text Driver (*.txt; *.csv)};DBQ=CSVファイルのフォルダ;ReadOnly=1}"
Set objRS = objADO.Execute("select * from CSVファイル名")

Do Until objRS.Eof = True
   '１番目の項目
   colum1 = objRS(0)
'具体的な処理は省略
   objRS.MoveNext
Loop

Set objADO = CreateObject("ADODB.Connection")

objADO.Open "Driver={Microsoft Text Driver (*.txt; *.csv)};DBQ=CSVファイルのフォルダ;ReadOnly=1}"

Set objRS = objADO.Execute("select * from CSVファイル名")

Do Until objRS.Eof = True

'１番目の項目

colum1 = objRS(0)

'具体的な処理は省略

objRS.MoveNext

Loop

対象のCSVファイルが改行を含む値を扱う都合でADOを使ったようなのですが、どうやら、CSVテキストドライバとしての仕様上、255を超える項目数だったり、255を超えるサイズといった、昔ながらの壁がある模様。
回避策としては、Schema.iniで逃げるのが定番らしいのですが、試したところエラーにはならないが、255文字超が勝手に切られる形に・・・

というか、これ以上ADODBについて調べる時間が無駄！！なので、テキストファイル読み込みとして作り直しました。。

こちらを少し参考にして、さらにダブルクォーテーション内のカンマも考慮し（ここではカンマは削除してます）、ADOのレコードセットっぽく１レコード毎に配列へ列の値をセットしてから処理を行っていきます。

Const sCsvFileName = "C:\Users\XXX\data.csv"
Dim objFSO
Dim objFile
Dim strLine,SpltTmp
Dim i,iDimPos,colum1

Set objFSO = CreateObject("Scripting.FileSystemObject") 
Set objFile = objFSO.OpenTextFile(sCsvFileName)

Do While objFile.AtEndOfStream <> True
     'CSV列の最大数
     Redim strRec(12)
     strLine = ""
     Do While objFile.AtEndOfStream <> True
        strLine = strLine + objFile.ReadLine
        If (Len(strLine) - Len(Replace(strLine,"""",""))) Mod 2 = 0 Then Exit Do
        strLine = strLine + vbNewLine
     Loop
     iDimPos = 0
     For Each SpltTmp In Split(strLine,",")
        If iDimPos > 11 Then
           Exit For
        End If
        If Instr(SpltTmp,"""") = 0 Then
           strRec(iDimPos) = SpltTmp
           iDimPos = iDimPos + 1
        ElseIf Instr(SpltTmp,"""") = 1 And InStrRev(SpltTmp,"""") = Len(SpltTmp) Then
           If Instr(1, SpltTmp, """") = 2 Then
              strRec(iDimPos) = ""
           Else
              strRec(iDimPos) = Mid(SpltTmp,2,Len(SpltTmp)-2)
           End If
           iDimPos = iDimPos + 1
        Else 
           strRec(iDimPos) = strRec(iDimPos) + SpltTmp
           If InStrRev(SpltTmp,"""") = Len(SpltTmp) Then
              strRec(iDimPos) = Mid(strRec(iDimPos),2, Len(strRec(iDimPos))-2)
              iDimPos = iDimPos + 1
           End If
        End If
     Next

   '１番目の項目
   colum1 = strRec(0)
'具体的な処理は省略
Loop

objFile.Close

Const sCsvFileName = "C:\Users\XXX\data.csv"

Dim objFSO

Dim objFile

Dim strLine,SpltTmp

Dim i,iDimPos,colum1

Set objFSO = CreateObject("Scripting.FileSystemObject")

Set objFile = objFSO.OpenTextFile(sCsvFileName)

Do While objFile.AtEndOfStream <> True

'CSV列の最大数

Redim strRec(12)

strLine = ""

Do While objFile.AtEndOfStream <> True

strLine = strLine + objFile.ReadLine

If (Len(strLine) - Len(Replace(strLine,"""",""))) Mod 2 = 0 Then Exit Do

strLine = strLine + vbNewLine

Loop

iDimPos = 0

For Each SpltTmp In Split(strLine,",")

If iDimPos > 11 Then

Exit For

End If

If Instr(SpltTmp,"""") = 0 Then

strRec(iDimPos) = SpltTmp

iDimPos = iDimPos + 1

ElseIf Instr(SpltTmp,"""") = 1 And InStrRev(SpltTmp,"""") = Len(SpltTmp) Then

If Instr(1, SpltTmp, """") = 2 Then

strRec(iDimPos) = ""

Else

strRec(iDimPos) = Mid(SpltTmp,2,Len(SpltTmp)-2)

End If

iDimPos = iDimPos + 1

Else

strRec(iDimPos) = strRec(iDimPos) + SpltTmp

If InStrRev(SpltTmp,"""") = Len(SpltTmp) Then

strRec(iDimPos) = Mid(strRec(iDimPos),2, Len(strRec(iDimPos))-2)

iDimPos = iDimPos + 1

End If

'１番目の項目

colum1 = strRec(0)

'具体的な処理は省略

Loop

objFile.Close

redmine plugin DMSFを入れてみた

投稿日時: 2018年2月28日投稿者: bokusui

文書管理をしたいという話があがり、redmineプラグインにDMSFってのがあるよ！
って事で、対象のredmineが3.3なので、DSMFは現時点の最新より一つ古い 1.5.9 を入れてみました。

redmine/pluginsにダウンロードしたソースを置き、redmineのルートディレクトリに移動。
最初
bundle install –without development test
とした後に
bundle execでインストールしようとしたが、redmineローカル内のGemとして入ってないと怒られた。
また、xapian-full-alaveteliというgemがどうも入らないので、こちらはGemfileの該当箇所をコメントアウト。

結果、
bundle install –without development test –path vendor/bundle
とした後に
bundle exec rake redmine:plugins:migrate NAME=redmine_dmsf RAILS_ENV=production
でとりあえず入った。

プラグイン設定画面はこんな感じ
一番下のテキスト検索の箇所が、入らなかったgemと関係している模様。文書検索できるならさらに素晴らしいが日本語は選択対象に無いので、とりあえずOFF。

利用対象とするプロジェクトの設定から、「文書管理」ってモジュールにチェックを入れて使用開始。

wikiの隣あたりから「文書管理」が開くようになり、ファイルをドラッグアンドドロップでアップロードできるようになりました。
同じファイル名はアップロードするごとに自動的にマイナーバージョン番号がアップされ、メジャーにするときはアップロード時に画面で指定します。

文書の更新履歴はこんな感じ。

他に承認ワークフロー機能があるようなので試したところ、承認ワークフローの設定で新規ステップと押しても反応しないのでログを見たら、DBエラーが出てました。
該当ソースのgithub履歴をみるとバグフィックスしたコミットがあったので、ステップが登録できるようになりました！承認者をORかANDで設定していく形です。

で、該当文書の右端チェックを押すとワークフローを適用できます。
今回試しに「ソフトウェア資料」というワークフローを作りレビュアー３名をOR設定、承認者１名をセットするとこんな感じで履歴が見れます。

とは言え、1.5.9は他にもバグがあるのでパッチをあてないとredmineの動きがちょっとおかしくなります。最新バージョンを入れてみれば良かったと後悔。。

DMSFによる文書管理をこれからどう運用していくかは、既存のファイルサーバ管理からの移行方針とか、プロジェクトの切り方といったredmine運用も考えた上でやらないといけませんね。

Windows10でHTAの画面フォントが崩れる

投稿日時: 2018年2月6日投稿者: bokusui

　少し前にHTAで作られたツールのWindows10対応をしていましたが、一部の画面で文字が巨大化したりで表示が崩れて目も当てられない状況。。

　でも全ての端末で起きる事象では無いらしく、特にパナのLet’s Note の場合に発生しているらしい。どうも、Win10のデスクトップ右クリックでディスプレイの設定を開き、「拡大縮小とレイアウト」が１００％でないと崩れる模様。
　パナのLet’s Noteは、ディスプレイの解像度が高い為、文字を大きく表示したいと設定を変更する人が多いようです。

「拡大縮小とレイアウト」より設定を変更しながら対応結果の確認をしますが、HTAは「一部のアプリは、サインアウトするまで、拡大縮小の設定に応答しません」の対象なので、設定を変更してはサインアウトの繰り返しが必要。

　結局、HTAに書かれているCSSを確認したところ、%指定とかem指定とか結構適当になっていた事に起因している事が判明。
　フォントサイズを全てピクセル指定にして一件落着。

今どきはXCOPYでなくROBOCOPY

投稿日時: 2017年12月23日投稿者: bokusui

ファイルサーバからWindows端末にディレクトリ毎ファイルを同期させたいような話があり、昔ながらXCOPYのオプションなんだっけ？とググっていたところ、今はROBOCOPYなる便利なコマンドがある模様。

今回は、完全にディレクトリを同期させ、うざい出力も消したいので下記のコマンドで対応

robocopy \\fileserver\targetdir %USERPROFILE%\targetdir /mir /NDL /NFL /NJH

スタートアップにバッチを仕込んで、Windowsローカルアプリ更新時の同期とか簡単に出来ますね。

ESORO system design

「システム開発」カテゴリーアーカイブ

ROBOCOPY再び

Swagger + SpringBoot で APIサイトを作ってみる

NTLM認証のサイトからファイルをダウンロードする

SpringBootでWebアプリが動かない

SpringBootのCacheにCSVを入れてみた

google-http-clientを使ってみた

ADOでCSVファイルを読み込むと255文字以上でエラーになる

redmine plugin DMSFを入れてみた

Windows10でHTAの画面フォントが崩れる

今どきはXCOPYでなくROBOCOPY

2025年4月
日	月	火	水	木	金	土
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30