NTLM認証のサイトからファイルをダウンロードする

投稿日時: 2018年8月16日投稿者: bokusui

SpringBootで作成中のアプリに、企業内のWebサイトよりエクセルファイルをダウンロードする要件があったので、何となくBasic認証のサイトだろうなと思い込んで実装を始めましたが全然繋がりません。

wget ‘http://username:password@filestore.bbb.co.jp/web/download/downloadfile.xlsx’
でファイルは取れます。

でも、
curl ‘http://username:password@filestore.bbb.co.jp/web/download/downloadfile.xlsx’
では動きません。

試しにwgetをデバッグモードでやってみて気が付きました。。

WWW-Authenticate: NTLM

このサイト、NTLM認証ですね。。

下記を参考に認証箇所を変更
http://code-addict.pl/reporting-services-rest-url-client/

また依存が増えてしまいましたが。。

       <dependency>
		<groupId>org.apache.httpcomponents</groupId>
		<artifactId>httpclient</artifactId>
		<version>4.5.6</version>
	</dependency>

<groupId>org.apache.httpcomponents</groupId>

<artifactId>httpclient</artifactId>

</dependency>

ダウンロードファイルが更新されていた時だけダウンロードするという対応も必要なので、サーバ内にダウンロードしたローカルファイルとサイト上のファイルタイムスタンプをチェックし、一致しなければファイルをダウンロードしタイムスタンプをサイト上と同じ時間に書き換えるという対応になりました。

で、タイムスタンプはどこ？ここに書いてました。

確かにhttpヘッダに
Last-Modified:Tue, 14 Aug 2018 08:53:30 GMT
と書いてあります。

結局、こんな感じのコンポーネントを用意しました。

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.attribute.FileTime;
import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Locale;

import org.apache.http.auth.AuthScope;
import org.apache.http.auth.NTCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.springframework.stereotype.Component;

@Component
public class FileDownLoader {
	public void donwLoadFile(String fileName) throws IOException, ParseException{

		FileTime beforeT = null;
        Path path = Paths.get("/localpath/" + fileName);
		try{
			//更新前ファイルのタイムスタンプ取得
			beforeT = Files.getLastModifiedTime(path);
		} catch (Exception ex) {
			//新規ファイル
		}
        String url = "http://filestore.bbb.co.jp/web/download/" +fileName;
    	CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
        credentialsProvider.setCredentials(AuthScope.ANY,
                 new NTCredentials("username", "password", null, null));
        HttpGet httpGet = new HttpGet(url);
         
        CloseableHttpClient httpclient = HttpClientBuilder
                 .create()
                 .setDefaultCredentialsProvider(credentialsProvider)
                 .build();
         
        CloseableHttpResponse closeableHttpResponse = httpclient.execute(httpGet);
         
        FileTime modTime = beforeT;
        if( closeableHttpResponse.getAllHeaders() != null){
        	DateFormat df = new SimpleDateFormat("EEE, d MMM yyyy HH:mm:ss Z", Locale.ENGLISH);
        	modTime = FileTime.from(df.parse(closeableHttpResponse.getFirstHeader("Last-Modified").getValue()).toInstant());
        }
        //更新無し
		if(beforeT != null && beforeT.compareTo(modTime) == 0){
			closeableHttpResponse.close();
			return;
		}
        Files.write(path, EntityUtils.toByteArray(closeableHttpResponse.getEntity()));
        //更新日時タイムスタンプ書き換え
        Files.setLastModifiedTime(path, modTime);
		closeableHttpResponse.close();
	}
}

import java.io.IOException;

import java.nio.file.Files;

import java.nio.file.Path;

import java.nio.file.Paths;

import java.nio.file.attribute.FileTime;

import java.text.DateFormat;

import java.text.ParseException;

import java.text.SimpleDateFormat;

import java.util.Locale;

import org.apache.http.auth.AuthScope;

import org.apache.http.auth.NTCredentials;

import org.apache.http.client.CredentialsProvider;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.impl.client.BasicCredentialsProvider;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClientBuilder;

import org.apache.http.util.EntityUtils;

import org.springframework.stereotype.Component;

@Component

public class FileDownLoader {

public void donwLoadFile(String fileName) throws IOException, ParseException{

FileTime beforeT = null;

Path path = Paths.get("/localpath/" + fileName);

try{

//更新前ファイルのタイムスタンプ取得

beforeT = Files.getLastModifiedTime(path);

} catch (Exception ex) {

//新規ファイル

}

String url = "http://filestore.bbb.co.jp/web/download/" +fileName;

CredentialsProvider credentialsProvider = new BasicCredentialsProvider();

credentialsProvider.setCredentials(AuthScope.ANY,

new NTCredentials("username", "password", null, null));

HttpGet httpGet = new HttpGet(url);

CloseableHttpClient httpclient = HttpClientBuilder

.create()

.setDefaultCredentialsProvider(credentialsProvider)

.build();

CloseableHttpResponse closeableHttpResponse = httpclient.execute(httpGet);

FileTime modTime = beforeT;

if( closeableHttpResponse.getAllHeaders() != null){

DateFormat df = new SimpleDateFormat("EEE, d MMM yyyy HH:mm:ss Z", Locale.ENGLISH);

modTime = FileTime.from(df.parse(closeableHttpResponse.getFirstHeader("Last-Modified").getValue()).toInstant());

}

//更新無し

if(beforeT != null && beforeT.compareTo(modTime) == 0){

closeableHttpResponse.close();

return;

}

Files.write(path, EntityUtils.toByteArray(closeableHttpResponse.getEntity()));

//更新日時タイムスタンプ書き換え

Files.setLastModifiedTime(path, modTime);

closeableHttpResponse.close();

}

テストしてみます。

@RunWith(SpringRunner.class)
@SpringBootTest(classes = UoeautomailApplication.class)
public class DownloadTest throws Exception{

	@Autowired
	FileDownLoader fileDownLoader;

 	@Test
	public void test(){
  	   	fileDownLoader.donwLoadFile("aaa.xlsx");
	}
}

@RunWith(SpringRunner.class)

@SpringBootTest(classes = UoeautomailApplication.class)

public class DownloadTest throws Exception{

@Autowired

FileDownLoader fileDownLoader;

@Test

public void test(){

fileDownLoader.donwLoadFile("aaa.xlsx");

}

とりえあず、動いたので整理してから実装します。

SpringBootでWebアプリが動かない

投稿日時: 2018年7月30日投稿者: bokusui

　作りかけのSpringBootのRestアプリを別端末の開発環境（Windows＋EclipseSTS＋Maven）へ移行して動かしてみたところ、ブラウザからURLを打ち込んでも、RestControllerがうんともすんともいいません。元々の環境では普通に動作していたのですが。。
　困ったな・・と別環境への移行を諦めようかと思っていたところ、よく見るとSpring実行時のログ出力に下記を発見

[ERROR] C:\Users\admin\.m2\repository\org\apache\tomcat\embed\tomcat-embed-core\8.5.31\tomcat-embed-core-8.5.31.jarの読込みエラーです。invalid LOC header (bad signature)

　とりあえず該当のC:\Users\admin\.m2\repository\org\apache\tomcat\embed\tomcat-embed-core\8.5.31 内のファイルを全て消して再度、プロジェクト→実行→Maven install実施。
すると何事も無く動き始めました。。

2018-07-30 15:18:55.806 INFO 14844 --- [ main] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat started on port(s): 8090 (http) with context path ''

こういった問題はあまり深く考えても詮無き事。。
なお、デフォルトの8080ポートは他アプリと被ってたので、application.ymlに
server: port: 8090

と書いています。

SpringBootのCacheにCSVを入れてみた

投稿日時: 2018年7月22日投稿者: bokusui

　別のところで開発してもらったSpringBootのソースを引き取って機能追加の対応をしているのですが、毎日定時に更新されるCSVファイルをマスターデータとして使用するという要件が含まれてました。
　CSVをそのまま処理の都度読み込むのもイマイチだし、今回はSpringBootのアプリケーションなんで、SpringBootCacheを使ってみる事にしました。

今回の要件的にCacheとしてはConcurrentMapCacheでこと足りそうなので、実装前に下記サイトの住所CSV関東版を使って試してみます。
住所データのダウンロードサイト【住所.jp】

まず適当にエンティティを・・

import java.io.Serializable;

public class Address implements Serializable {

	private static final long serialVersionUID = 1L;

	/** 都道府県コード */ 
	private String prefid;
	
	/** 郵便番号 */
	private String zipCode;
	
	/** 都道府県名 */
	private String prefName;
	
	/** 住所 */
	private String addressName;
	
以下、GetterSetterは省略・・

import java.io.Serializable;

public class Address implements Serializable {

private static final long serialVersionUID = 1L;

/** 都道府県コード */

private String prefid;

/** 郵便番号 */

private String zipCode;

/** 都道府県名 */

private String prefName;

/** 住所 */

private String addressName;

以下、GetterSetterは省略・・

キャッシュ設定のevictスケジュールについては、ここではテストなので１分でクリアし、クリアした事がわかるように出力してます。実際には日次CSVファイル更新処理が終わった後くらいに動作するようにします。

import org.springframework.cache.CacheManager;
import org.springframework.cache.annotation.CacheEvict;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.cache.concurrent.ConcurrentMapCacheManager;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;

@Configuration
@EnableCaching
@EnableScheduling
public class CachingConfig {
	private final String cacheName = "AddressInfo";
	@Bean
    public CacheManager cacheManager() {
		ConcurrentMapCacheManager manager =  new ConcurrentMapCacheManager(cacheName);
		return manager;
    }
    @CacheEvict(allEntries = true, value = {cacheName})
    @Scheduled(fixedDelay = 60 * 1000 ,  initialDelay = 0)
    public void cacheEvict() {
    	System.out.println("evict!");
    }
}

import org.springframework.cache.CacheManager;

import org.springframework.cache.annotation.CacheEvict;

import org.springframework.cache.annotation.EnableCaching;

import org.springframework.cache.concurrent.ConcurrentMapCacheManager;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.scheduling.annotation.EnableScheduling;

import org.springframework.scheduling.annotation.Scheduled;

@Configuration

@EnableCaching

@EnableScheduling

public class CachingConfig {

private final String cacheName = "AddressInfo";

@Bean

public CacheManager cacheManager() {

ConcurrentMapCacheManager manager = new ConcurrentMapCacheManager(cacheName);

return manager;

}

@CacheEvict(allEntries = true, value = {cacheName})

@Scheduled(fixedDelay = 60 * 1000 , initialDelay = 0)

public void cacheEvict() {

System.out.println("evict!");

}

で、サービスを作りますが、ここでCSVのデータを全部キャッシュに突っ込みます。CSV読み込みについてはこちらを参考にさせて頂きました。

事前にapplication.ymlに下記を書いておきます。

  jp:
    esoro:
      master:
        address: /var/lib/ap/data/kanto.csv

jp:

esoro:

master:

address: /var/lib/ap/data/kanto.csv

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVRecord;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cache.annotation.Cacheable;
import org.springframework.stereotype.Service;

@Service
public class AddressService {
	
	protected static Logger logger = LogManager.getLogger();

	@Value("${jp.esoro.master.address}")
	String csvPath;

	@Cacheable("AddressInfo")
	public Map<String,Address> getAll() {
		BufferedReader in = null;
		Map<String,Address> list = new HashMap<String,Address>();
logger.info("readCSV");
		try{
			in = new BufferedReader(new InputStreamReader(new FileInputStream(new File(csvPath)),"MS932"));
			CSVParser parser = CSVFormat
			        .EXCEL                                        // ExcelのCSV形式を指定
			        .withIgnoreEmptyLines(true)                   // 空行を無視する
			        .withSkipHeaderRecord()                       // 最初の行をヘッダーとして読み飛ばす
			        .withIgnoreSurroundingSpaces(false)           // 値をtrimして取得する
			        .withRecordSeparator(System.getProperty("line.separator"))
			        .withDelimiter(',')
			        .withQuote('"')
			        .parse(in);

			// CSVのレコードを取得
		    List<CSVRecord> pList = parser.getRecords();

		    for(int i = 0 ; i < pList.size() ; i++ ){
		    	CSVRecord rec = pList.get(i);
		    	Address inf = new Address();
		    	inf.setPrefid(rec.get(1));
		    	inf.setZipCode(rec.get(4));
		    	inf.setPrefName(rec.get(7));
		    	inf.setAddressName(rec.get(9)+rec.get(11)+rec.get(13));
		    	list.put(rec.get(0), inf);
		    }
		} catch (Exception e) {
			logger.error("csv read error", e);
			 
		} finally{
			if (in != null){
				try {
					in.close();
				} catch (IOException e) {
				}
			}
		}
	    return list;
	}
}

import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.IOException;

import java.io.InputStreamReader;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import org.apache.commons.csv.CSVFormat;

import org.apache.commons.csv.CSVParser;

import org.apache.commons.csv.CSVRecord;

import org.apache.logging.log4j.LogManager;

import org.apache.logging.log4j.Logger;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.cache.annotation.Cacheable;

import org.springframework.stereotype.Service;

@Service

public class AddressService {

protected static Logger logger = LogManager.getLogger();

@Value("${jp.esoro.master.address}")

String csvPath;

@Cacheable("AddressInfo")

public Map<String,Address> getAll() {

BufferedReader in = null;

Map<String,Address> list = new HashMap<String,Address>();

logger.info("readCSV");

try{

in = new BufferedReader(new InputStreamReader(new FileInputStream(new File(csvPath)),"MS932"));

CSVParser parser = CSVFormat

.EXCEL // ExcelのCSV形式を指定

.withIgnoreEmptyLines(true) // 空行を無視する

.withSkipHeaderRecord() // 最初の行をヘッダーとして読み飛ばす

.withIgnoreSurroundingSpaces(false) // 値をtrimして取得する

.withRecordSeparator(System.getProperty("line.separator"))

.withDelimiter(',')

.withQuote('"')

.parse(in);

// CSVのレコードを取得

List<CSVRecord> pList = parser.getRecords();

for(int i = 0 ; i < pList.size() ; i++ ){

CSVRecord rec = pList.get(i);

Address inf = new Address();

inf.setPrefid(rec.get(1));

inf.setZipCode(rec.get(4));

inf.setPrefName(rec.get(7));

inf.setAddressName(rec.get(9)+rec.get(11)+rec.get(13));

list.put(rec.get(0), inf);

}

} catch (Exception e) {

logger.error("csv read error", e);

} finally{

if (in != null){

try {

in.close();

} catch (IOException e) {

}

return list;

}

依存しているものです

	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.2.RELEASE</version>
	</parent>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-keyvalue</artifactId>
        </dependency>
		<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-cache</artifactId>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-csv -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-csv</artifactId>
            <version>1.5</version>
        </dependency>
    </dependencies>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-parent</artifactId>

<version>2.0.2.RELEASE</version>

</parent>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter</artifactId>

</dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-test</artifactId>

</dependency>

<groupId>org.springframework.data</groupId>

<artifactId>spring-data-keyvalue</artifactId>

</dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-cache</artifactId>

</dependency>

<groupId>org.apache.commons</groupId>

<artifactId>commons-csv</artifactId>

</dependency>

</dependencies>

最後にテストを書いて効果を確認します。

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import jp.esoro.cache.domain.model.address.AddressService;

@RunWith(SpringRunner.class)
@SpringBootTest(classes = CacheApplication.class)
public class CacheTest {

	protected static Logger logger = LogManager.getLogger();

	@Autowired
	AddressService addressInfo;

	@Test
    public void testCache1() {
		
		for(int i = 0 ; i < 10;i++) {
			logger.info("get start");
			logger.info(addressInfo.getAll().get("299190600").getAddressName());
			logger.info(addressInfo.getAll().get("299190600").getAddressName());
			logger.info(addressInfo.getAll().get("161871000").getAddressName());
			try {
				Thread.sleep(1000*64);
			} catch (InterruptedException e) {
			}
		}
	}
}

import org.apache.logging.log4j.LogManager;

import org.apache.logging.log4j.Logger;

import org.junit.Test;

import org.junit.runner.RunWith;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.boot.test.context.SpringBootTest;

import org.springframework.test.context.junit4.SpringRunner;

import jp.esoro.cache.domain.model.address.AddressService;

@RunWith(SpringRunner.class)

@SpringBootTest(classes = CacheApplication.class)

public class CacheTest {

protected static Logger logger = LogManager.getLogger();

@Autowired

AddressService addressInfo;

@Test

public void testCache1() {

for(int i = 0 ; i < 10;i++) {

logger.info("get start");

logger.info(addressInfo.getAll().get("299190600").getAddressName());

logger.info(addressInfo.getAll().get("161871000").getAddressName());

try {

Thread.sleep(1000*64);

} catch (InterruptedException e) {

}

テスト結果です。

evict!
2018-07-22 15:24:13.023  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : Started CacheTest in 2.497 seconds (JVM running for 3.93)
2018-07-22 15:24:13.201  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:24:13.215  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:24:13.684  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:24:13.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:24:13.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽
evict!
2018-07-22 15:25:17.686  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:25:17.687  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:25:18.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽
evict!
2018-07-22 15:26:22.118  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : get start
2018-07-22 15:26:22.119  INFO 8656 --- [           main] j.e.c.d.model.address.AddressService     : readCSV
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 安房郡鋸南町横根
2018-07-22 15:26:22.309  INFO 8656 --- [           main] jp.esoro.cache.CacheTest                 : 文京区音羽

evict!

2018-07-22 15:24:13.023 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : Started CacheTest in 2.497 seconds (JVM running for 3.93)

2018-07-22 15:24:13.201 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:24:13.215 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:24:13.684 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:24:13.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:24:13.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

evict!

2018-07-22 15:25:17.686 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:25:17.687 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:25:18.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:25:18.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

evict!

2018-07-22 15:26:22.118 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : get start

2018-07-22 15:26:22.119 INFO 8656 --- [ main] j.e.c.d.model.address.AddressService : readCSV

2018-07-22 15:26:22.309 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 安房郡鋸南町横根

2018-07-22 15:26:22.309 INFO 8656 --- [ main] jp.esoro.cache.CacheTest : 文京区音羽

CSVを読んだ場合500ms程度ですが、キャッシュが効いてると殆ど1ms以内の世界です。
こりゃいい感じですね！

違うと考えるか、同じと考えるか？？

投稿日時: 2018年6月13日投稿者: bokusui

　とあるWebサービスにアクセスするところを、去年書いたものに追加するという要件でしたが、どうも去年作ったものと違うところが結構あるなあと。
　でも、こちらからすると同じような事をしているだけなんですが、微妙に要求パラメータの名前が違ったり、Webサービス側からの応答も何故か同じようではないようです。
　
　これと、それと、何が違うのか？　って、意識して設計していますかね？
　
　なんらかのシステムという仕組みを作ろうと思うと、まず、検討しなければならないのは、そのシステムが対応する範囲に存在する多様性（パターン）ですが、その多様性の中に共通するものは一体何処にあるのか？というのを整理し最適化するのがシステム設計者の醍醐味なんだと思います。逆に言うと、そう考えないと、やってられませんよ？全てのパターンに対して別物として用意すると言うのは、かなりの無駄な仕事が発生しますが、これとこれは同じですと整理出来れば、そのパターンに対応するものを一つ用意して、ちょっとだけバリエーションに対応すればよいだけなんで、とても楽になるんです。

　でも、これと、それと、が違うとされると、ちょっと待ってよ、これとそれは殆どこの辺りが同じなんだけど何で違うの？と思えるところがあると、とても残念な気持ちになります。ま、もっと残念なのは、同じとも違うとも何も考えた形跡が無い場合なんですが。

　これと、それ、に対して違うところに着目すると、半目が生まれますが、同じところに着目すれば共有が生まれませんか？
　この感覚って、とても重要な気がします。
　歴史上の悲劇や戦争は相手が敵＝自分達と違う存在、という感覚から起きてませんか？
　貴方と私はここが同じだね！これとそれはここが同じで、この辺りだけがちょっとだけ違うみたいですね、っと思える感覚がとても重要なんだと思います。
　とは言え、何でもかんでも一緒くたというのとは違います。最初のアプローチとして、まず同じところは何処と何処なのか？
　という所から始めた方がいい事が多いような気がします。

google-http-clientを使ってみた

投稿日時: 2018年5月31日投稿者: bokusui

　とあるWebAPIサービスを提供しているサイトへアクセスするクライアントをjavaで書こうかと、最初はjerseyを試してみたのですが、これがなかなか厄介で、次から次と依存が判明して動作するまで一苦労。。
最終的には、とあるサイト側の認証における制約により、jerseyの仕様ではどうやってもアクセスが出来ない事が判明。。

　失敗の原因は概ね当たりが付いていたので、その辺りに問題が無さそうなライブラリとしてgoogle-http-clientを使うことにしました。
　jerseyで途中まで実装していたものをそのままgoogle-http-clientを使う形に置き換えて疎通確認レベルまでやってみます。

		String jsonStr = "{¥"param1¥" : ¥"XXXXX¥"}";
		HttpTransport transport = new ApacheHttpTransport();
        HttpRequestFactory factory = transport.createRequestFactory();

        GenericUrl url = new GenericUrl("https://aaa.bbb.jp/api/method");
        
        HttpRequest request = factory.buildPostRequest(url, ByteArrayContent.fromString("application/json", jsonStr ));

		request.setConnectTimeout(30 * 1000);
		request.setReadTimeout(60 * 1000);
        HttpHeaders headers = request.getHeaders();
        headers.setContentType("application/json");
        headers.set("x-header1", "xxxxx");
        headers.set("x-header2", "yyyyy");
		String accessToken = generateToken(); //こちらはサイト要件に合わせて別途用意
        headers.setAuthorization(accessToken);
		
		response = request.execute();
		try{
			String respJsonStr = response.parseAsString();
	    } finally {
	        response.disconnect();
	    }
		//パース処理に続く・・・

String jsonStr = "{¥"param1¥" : ¥"XXXXX¥"}";

HttpTransport transport = new ApacheHttpTransport();

HttpRequestFactory factory = transport.createRequestFactory();

GenericUrl url = new GenericUrl("https://aaa.bbb.jp/api/method");

HttpRequest request = factory.buildPostRequest(url, ByteArrayContent.fromString("application/json", jsonStr ));

request.setConnectTimeout(30 * 1000);

request.setReadTimeout(60 * 1000);

HttpHeaders headers = request.getHeaders();

headers.setContentType("application/json");

headers.set("x-header1", "xxxxx");

headers.set("x-header2", "yyyyy");

String accessToken = generateToken(); //こちらはサイト要件に合わせて別途用意

headers.setAuthorization(accessToken);

response = request.execute();

try{

String respJsonStr = response.parseAsString();

} finally {

response.disconnect();

}

//パース処理に続く・・・

　google-http-clientは依存が無く構成がとてもシンプルで置き換えた途端に、サックリとAPIアクセスに成功しました。proxy経由でもJVM引数で指定してあっさり通りました。

　細かいところでは、どうも指定したタイムアウトは効いてないような気がしますが、まあ、今回の実務上問題無さそうなので、利用しやすいように整理して実装しようと思います。

　だいぶ経って2019年1月現在、久しぶりに使ってみると、当時のバージョン1.23と現在の1.28では仕様が変わっており上記のままでは動かなくなりました。。

テストの価値

投稿日時: 2018年5月15日投稿者: bokusui

　某国製のロボット掃除機をAmazonで買いましたが２ヶ月で動かなくなりました。最初はとても良い感じで掃除してくれていたんですが、何か喋ってすぐ止まるようになり、自分で治せそうにない、でも保証とかよくわからないし、買った当初はいい買い物したというという満足感がありましたが、今となっては、どこに連絡して、どこに持っていけば治してくれるの？？
　Amazonでは購入後１ヶ月間の初期不良しか対応していないようで、一応、メーカーのサービス窓口メアドに故障の旨を少し英語、詳細は日本語で送ってみましたが、今の所、何のレスもありません。。。（追伸　　３日後返信が来て、その後少しやり取りした後、部品を無償で送ってもらえる事になりました）
　これが少なくとも半年後だったら、値段を考えるとある程度は納得出来ていたかも知れませんが、たった２ヶ月でこうなると安いからと言って納得出来ませんよね。

　最近、ポルシェ博士の本を読んでたんですが、所謂ワーゲンビートルの元になったポルシェ博士が設計したクルマは、ナチスの親衛隊２００人が試作車３０台を昼夜問わずで約８ヶ月間走行テストをしたそうです。
　ベストな製品に至るまで必要なテストのコストをナチスが負ってくれていた訳で、それによりクルマのプラットフォームとしての信頼性を極限まで追求出来たのでしょう。戦後になってビートルが生産されるようになり、ポルシェ博士が夢みた大衆の為のクルマを設計するという面では大成功となった経緯になるのですが、元々はナチスからの大衆車を設計して欲しいという依頼から始まったものです。しかし、戦前・戦中に生産されたクルマは、殆どが軍用車であるキューベル・ワーゲンで、しかも、大衆車を手に入れようと宣伝し、購入を予約した国民から集めた貯金までもがナチスにいいように使われていたのです。
　
　単純に製品の値段だけみても、テストにどれだけコストをかけたのかは解りません。ただ、高価な製品でも、スペックだけみても解らないテストの価値も含まれていると感じた場合、それがメーカーに対する信頼なんだと思います。特に摩耗するような部品があるものは、安いから、スペックがよいからと安易にポチっとするのは避けようと思う今日この頃です。

リモートワークを阻害するもの

投稿日時: 2018年5月2日投稿者: bokusui

　働き方改革とかで、リモートワークや在宅勤務とかが話題にはなっていますが、なかなか普及しているようには思えないですよね。筆者のような業種は比較的リモートワークしやすい業種と言えますが、リモートワークが確立されているところは日本ではかなり少ないように思います。

　その時々の仕事内容にもよりますが、コミュニケーションツールでメンバーと少しやりとり出来れば一人で進められる期間が実際にあるので、１時間くらいかけて仕事場に行って、１時間くらいかけて自宅に戻るなんて、１日２時間無駄にしているよなあと感じてしまうものです。この時間に何も報酬は付かないですから、ワークシェアって事で３時間だけ仕事したいといっても、仕事の場に行くためには住んでいる所次第で往復２時間かかったら合計５時間ですよ？全然３時間になってませんよ。

　先日、仕事先でOffice365が導入されて、Microsoft Teamsというツールが使えるようになりました。チャットやテレビ会議が出来るので、リモートワークツールとして使えそうです。とはいえ、今の所は使う機会が無いので使い方を覚えようとしてませんけど。
　結局ツールはリモートワークする人は是非使いたいけど、してないメンバーが使うのはメンドクサイだけになっちゃうんですよね。だってリモートワークツールを使わざるを得ないのは来てない人に合わせなきゃいけないだけなんで、それってリモートワークしていない方としては、何でここに居ないの？って思ってしまいます。

　リモートワークの普及を阻害している要因は、企業側と働く側双方にあるかと思いますが、筆者の主観では、

企業側
　・リモートワークにより生産性を落とさない為の仕組みが整理出来ていない（殆どがツールの話になるかも）
　・勤怠管理以外に仕事の評価方法が確立出来ていない

働く側
　・リモートワークの仕方が解らない（ツールの使い方が理解出来ていないとか含め）
　・同じ仕事をするメンバーと同じ場所で仕事をしなければいけないという気持ち

なのかと。

　特に、働く側の気持ちが一番難しいように思います。事務所を無くして全員リモートワークとまでは今の所そんな仕組みが出来てる企業は皆無なので、リモートワークをする人とリモートワークができない業務を仕事にしている人とでいろんな思いが出てきます。

　子供の頃から毎日通学し、同級生と長い時間一緒に居ることが当たり前だったし、不登校の同級生にどのような感情を持っていたか覚えているし。。
　でも、家庭環境等で止むを得ない理由があると知ったら、しょうがないんだねと腑に落ちてしまうので、リモートワークも同じように、本人に子育てや介護といった通勤するのが難しいという強い動機付けがあって、それがメンバーと情報共有出来ていれば、リモートワークする人も、リモートワークをしていないメンバーも受け入れやすいんだと思います。でも、これって、その人の止むを得ない状況なのか、それをしたいというその人の要求なのか、それだけの違いです。

　将来的には、リモートワークが当たり前と思えるようになるんでしょうが、筆者自身も含めて、人の意識が変わるには、もう暫く時間が掛かりそうですね。

源泉徴収の法定調書を提出し忘れてました。。

投稿日時: 2018年4月27日投稿者: bokusui

　今月中旬あたりに税務署から書類が届いていたので、何だろうと開けてみると、
「給与所得の源泉徴収票」等の法定調書の提出について
とのタイトル、やんわりと未提出なら早く提出を、確認後結果を郵送で返信を、という内容でした。

あれ、提出してなかったかな？と、eTaxで送信履歴を確認すると、１月に納税は済んでますが、法定調書の提出履歴が見当たらない・・
そういや、そのタイミングは住基カードの有効期限が切れていたので、マイナンバーカードの発行を申請し、到着待ちだった時でした。
法定調書の提出は、eLTaxの方から国税と市役所宛てに同時に送れるようになっていますが、提出時に電子署名が必要なので、そのまま忘れてしまったようです。。
慌ててeLTaxで源泉徴収の法定調書を提出、書類は提出しましたと書いて郵送。。３ヶ月遅延してますけど、ま、今となってはしょうがない。。
　
　税務関係はちゃんと事業年度内に発生するイベントのスケジュールを管理しなきゃいけませんね。

ADOでCSVファイルを読み込むと255文字以上でエラーになる

投稿日時: 2018年3月22日投稿者: bokusui

　ちょっと前にVBScriptで作られたツールがあるのですが、最近になってエラーが出るとの連絡。
エラーになるケースは、CSVファイルを読み込んで255Byteを超えている値を扱う時と判明。
対象のツールは実装上ADOが使われており、下記のようにCSVへアクセスしてます。

Set objADO = CreateObject("ADODB.Connection")
objADO.Open "Driver={Microsoft Text Driver (*.txt; *.csv)};DBQ=CSVファイルのフォルダ;ReadOnly=1}"
Set objRS = objADO.Execute("select * from CSVファイル名")

Do Until objRS.Eof = True
   '１番目の項目
   colum1 = objRS(0)
'具体的な処理は省略
   objRS.MoveNext
Loop

Set objADO = CreateObject("ADODB.Connection")

objADO.Open "Driver={Microsoft Text Driver (*.txt; *.csv)};DBQ=CSVファイルのフォルダ;ReadOnly=1}"

Set objRS = objADO.Execute("select * from CSVファイル名")

Do Until objRS.Eof = True

'１番目の項目

colum1 = objRS(0)

'具体的な処理は省略

objRS.MoveNext

Loop

対象のCSVファイルが改行を含む値を扱う都合でADOを使ったようなのですが、どうやら、CSVテキストドライバとしての仕様上、255を超える項目数だったり、255を超えるサイズといった、昔ながらの壁がある模様。
回避策としては、Schema.iniで逃げるのが定番らしいのですが、試したところエラーにはならないが、255文字超が勝手に切られる形に・・・

というか、これ以上ADODBについて調べる時間が無駄！！なので、テキストファイル読み込みとして作り直しました。。

こちらを少し参考にして、さらにダブルクォーテーション内のカンマも考慮し（ここではカンマは削除してます）、ADOのレコードセットっぽく１レコード毎に配列へ列の値をセットしてから処理を行っていきます。

Const sCsvFileName = "C:\Users\XXX\data.csv"
Dim objFSO
Dim objFile
Dim strLine,SpltTmp
Dim i,iDimPos,colum1

Set objFSO = CreateObject("Scripting.FileSystemObject") 
Set objFile = objFSO.OpenTextFile(sCsvFileName)

Do While objFile.AtEndOfStream <> True
     'CSV列の最大数
     Redim strRec(12)
     strLine = ""
     Do While objFile.AtEndOfStream <> True
        strLine = strLine + objFile.ReadLine
        If (Len(strLine) - Len(Replace(strLine,"""",""))) Mod 2 = 0 Then Exit Do
        strLine = strLine + vbNewLine
     Loop
     iDimPos = 0
     For Each SpltTmp In Split(strLine,",")
        If iDimPos > 11 Then
           Exit For
        End If
        If Instr(SpltTmp,"""") = 0 Then
           strRec(iDimPos) = SpltTmp
           iDimPos = iDimPos + 1
        ElseIf Instr(SpltTmp,"""") = 1 And InStrRev(SpltTmp,"""") = Len(SpltTmp) Then
           If Instr(1, SpltTmp, """") = 2 Then
              strRec(iDimPos) = ""
           Else
              strRec(iDimPos) = Mid(SpltTmp,2,Len(SpltTmp)-2)
           End If
           iDimPos = iDimPos + 1
        Else 
           strRec(iDimPos) = strRec(iDimPos) + SpltTmp
           If InStrRev(SpltTmp,"""") = Len(SpltTmp) Then
              strRec(iDimPos) = Mid(strRec(iDimPos),2, Len(strRec(iDimPos))-2)
              iDimPos = iDimPos + 1
           End If
        End If
     Next

   '１番目の項目
   colum1 = strRec(0)
'具体的な処理は省略
Loop

objFile.Close

Const sCsvFileName = "C:\Users\XXX\data.csv"

Dim objFSO

Dim objFile

Dim strLine,SpltTmp

Dim i,iDimPos,colum1

Set objFSO = CreateObject("Scripting.FileSystemObject")

Set objFile = objFSO.OpenTextFile(sCsvFileName)

Do While objFile.AtEndOfStream <> True

'CSV列の最大数

Redim strRec(12)

strLine = ""

Do While objFile.AtEndOfStream <> True

strLine = strLine + objFile.ReadLine

If (Len(strLine) - Len(Replace(strLine,"""",""))) Mod 2 = 0 Then Exit Do

strLine = strLine + vbNewLine

Loop

iDimPos = 0

For Each SpltTmp In Split(strLine,",")

If iDimPos > 11 Then

Exit For

End If

If Instr(SpltTmp,"""") = 0 Then

strRec(iDimPos) = SpltTmp

iDimPos = iDimPos + 1

ElseIf Instr(SpltTmp,"""") = 1 And InStrRev(SpltTmp,"""") = Len(SpltTmp) Then

If Instr(1, SpltTmp, """") = 2 Then

strRec(iDimPos) = ""

Else

strRec(iDimPos) = Mid(SpltTmp,2,Len(SpltTmp)-2)

End If

iDimPos = iDimPos + 1

Else

strRec(iDimPos) = strRec(iDimPos) + SpltTmp

If InStrRev(SpltTmp,"""") = Len(SpltTmp) Then

strRec(iDimPos) = Mid(strRec(iDimPos),2, Len(strRec(iDimPos))-2)

iDimPos = iDimPos + 1

End If

'１番目の項目

colum1 = strRec(0)

'具体的な処理は省略

Loop

objFile.Close

自分が使わなきゃ、誰かに使ってもらえない

投稿日時: 2018年3月10日投稿者: bokusui

　先月、新居に引っ越したところ、備え付けのガス操作パネルに昨日と今日のガス代が表示される機能が付いていました。入居時にガス開栓に来てくれた係員曰く、一定の計算方法に基づいて表示している金額なので、実際のガス代とは違うとの事。
　使用状況を管理して、請求されるガス代と見比べられればガス代を節約出来ると思い、毎日のガス代を記録していく事にしました。
　で、どう記録しようと、ふと数年前に作ったAndriodアプリを思い出しました。

　ガス代の入力項目を設定して、

　こんな感じで毎日登録していきます。

　たまに登録忘れてますけど。。

　このアプリは、筆者が前職を辞めた後に、プログラミングのリハビリを兼ねて、JavaでAndroidアプリを作ったものですが、５年くらい経ってもまだ、ダウンロードは100レベル。。完全ほったらかしなんで、そんなもんでしょうし、どちらかというと仕事利用がターゲットで、利用者が自分でデータ項目を決めるというコンセプト自体がそもそも理解しにくいでしょうね。UIもAndroid2.X時代のままですし。。

　作ろうと思った経緯自体は、ビル管理の仕事をしている人から、計器類の記録を取るツールが欲しいなあという話を聞いたのがきっかけですが、コンセプトとしたのは

　・汎用的なデータフォーマットに対応
　・オフラインでも記録が可能
　・記録したデータは他システムと連携可能
　という３点でした。

　最初の汎用的なデータフォーマットという所で、偶々見つけてくれた人でさえ、データを定義して設定しないと何もできないという難しさがあったと思います。
　２点目は、スマフォアプリなら出来て当たり前ですが。。
　３点目は、スマフォ内部でのデータ保存はあくまで一時的なもので、DBサーバとかに連携出来るよう、結果的にメール送信として実装しています。メールをインターフェース手段としておけば受信側で何か用意すればどうにでも取り込めるだろうと、SMTPの設定をすれば、送信ボタン一発で送れます。
入力画面から１件単位で送信するのと、例えば１か月とか貯めて一覧画面からCSVで送信するのと２パターンを用意しました。今回のガス代は後者を使ってあとでエクセルとかで確認する予定です。
完全フリーですが、この連携箇所に何等かのニーズがあればユーザー開拓が出来るかなあという目論見もありましたが、何も無かったですね。。

　コンセプトうんぬん以前に、作ったアプリを自分自身が使う機会が無かったという事が、ほったらかしにしてしまったようです。
　作った人が使わないものを他の誰かに使ってもらえるという事は期待しちゃいけないですね。５年くらいの時を経て改めて使ってみましたが、暫く使い続けて問題と感じたところを改良してみようと思います。

2025年1月
日	月	火	水	木	金	土
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31