weblogic 12cR2にバージョンアップしたらJAX-RSが動かなくなった。

投稿日時: 2019年10月31日投稿者: bokusui

５年前に作ったweblogicで動かしているアプリですが、一部の機能でエラーが出ているとの連絡。よく聞くと、weblogic12cから12cR2にバージョンアップをした後に発生しているとの事。

そりゃ、何かしら影響あるよね。。

どうも、JAX-RSが下記のように2.0に変わったという事で、jerseyも2.Xにしないといけない模様。
https://docs.oracle.com/cd/E92951_01/wls/NOTES/whatsnew.htm

pom.xmlを

    <dependency>
      <groupId>com.sun.jersey</groupId>
      <artifactId>jersey-bundle</artifactId>
      <version>1.19.1</version>
    </dependency>

から

  <dependency>
    <groupId>org.glassfish.jersey.bundles</groupId>
    <artifactId>jaxrs-ri</artifactId>
    <version>2.0</version>
    <scope>provided</scope>
  </dependency>

に変更

web.xmlを

 <servlet-class>com.sun.jersey.spi.container.servlet.ServletContainer</servlet-class>

から

 <servlet-class>org.glassfish.jersey.servlet.ServletContainer</servlet-class>

に変更して再ビルド、概ね事無きを得ました。

対象のアプリは２，３年何も手を加えていなかったので、依存ライブラリのバージョンアップをするのは止めました。トラブル対応だし、必要以上の事はしない方はよいかと。
JavaEEって、oracleからEclipse Foundationに移管されてJakarta EE 8になってたんですね。知らなかった。。
でも、まだ全く別の問題が発生していて対応中です。。

VS CodeからGitbucketへリモートプッシュする

投稿日時: 2019年9月30日投稿者: bokusui

対応していたredmine独自プラグインのredmine4移行が終わり、また別に独自プラグインを入れて業務システムとして使っているredmine2.5のredmine4移行を始めましたが、前回はeclipseからVSCodeへ途中で変えたので、Git周りについてはeclipseからそのままでVSCodeからコミットもリモートプッシュも問題無く動いてました。

今回、VSCode(+GitLensエクステンション)側でGitリポジトリを作成し、Git: Add Remoteで社内で立ち上げているGitBucketをリモート先として登録し、プッシュしたところうまくいきません。。
なお前回と今回のGitBucketリポジトリは別ですが、privateでユーザー、パスワードの認証が必要な構成は同じです。

リモートURLにユーザーを入れたりいろいろしましたが、認証が出来ずにエラーになってます。eclipseならユーザー認証のダイアログが表示されるのですが、VSCodeではエラーメッセージのダイアログのみ。。

で、いろいろ試行錯誤してたら突然プッシュが成功、何がうまくいったか解らないままでしたが、もしかしたらChromeで認証してGitBucketを開いたのがきっかけかもしれませんがそんな事ってあるのでしょうか。。
もう一度やり直すのも面倒なので、今回は謎のままで。。

何か試行錯誤するときは何でうまくいったかちゃんと解るように手順を踏んでやらないといけませんね。。

Oracleからpostgresへの移行でCREATE SEQUENCEにハマる

投稿日時: 2019年9月6日投稿者: bokusui

OracleDBからpostgresへ移行しているのですが、シーケンスをOracleSQLDeveloperからDDLを生成して、そのままpostgresにCREATE SEQUENCEしたところ、下記エラーでそんなのないよと怒られます。。

test_db=# select * from tran_id
test_db-# ;
ERROR: relation tran_id does not exist

実行したDDLは下記の内容です。

CREATE SEQUENCE “TRAN_ID” MINVALUE 1 MAXVALUE 99999999 INCREMENT BY 1 START WITH 1 CACHE 20 CYCLE ;

権限周りを見直しても何も変わらず、試しに

　CREATE SEQUENCE TRAN_ID MINVALUE 1 MAXVALUE 99999999 INCREMENT BY 1 START WITH 1 CACHE 20 CYCLE ;

を実行したところ、CREATE出来た？普通にSQLでシーケンスが取れた。あれ？

postgresはダブルクォーテーションを付けると付けないでは別ものになるのですね。。

WindowsのRedmineプラグイン開発をVisualStudio Codeに移行してみた

投稿日時: 2019年8月17日投稿者: bokusui

　前にやろうとしていたRedmineのバージョンアップ対応ですが、バージョンが決まり(Redmine2.5.1&Ruby2.0&Rails3.2 → Redmine4.0.4&Ruby2.5&Rails5.2)、インフラ含めスケジュールされたので、ぼちぼち対応に入ろうとした所、Rubyのバージョンを2.0から2.5に変えた影響か、Windowsローカル環境のAptanaStudio3では、実行は出来てもデバッグしようとすると、

と出て動かなくなりました。

　これまで３年くらい、Redmineプラグインの開発用に使っていたAptanaStudio3ですが、原因調査を早々に諦めて、、VSCodeに開発環境を移行する事にしました。
　使っているWindows端末にはRuby系の環境は既にインストール済みなので、Rubyのみ最新にします。

C:¥temp>ruby -v
ruby 2.5.5p157 (2019-03-15 revision 67260) [x64-mingw32]

C:¥temp>rails -v
Rails 5.2.2

　VSCodeを普通にインストールして、既存のAptanaStudio3で対応していたフォルダをワークスペースに追加するだけで、準備が出来ましたが、デバッグ設定が一苦労。。ググるといろいろ情報があり、思いのほか試行錯誤しましたが、こちらが一番参考になりました。デバッグ用のGemをインストールし、設定を試していきます。

　最終的にlaunch.jsonは下記となり、ブレークポイントも止まるようになりました。

"version": "0.2.0",
"configurations": [
    {
        "name": "Rails server",
        "type": "Ruby",
        "request": "launch",
        "cwd": "${workspaceRoot}",
        "pathToRDebugIDE": "C:¥¥Ruby25-x64¥¥bin¥¥rdebug-ide.bat",
        "env": { "RAILS_ENV": "development", "GEM_PATH": "${workspaceRoot}/vendor/bundle/bin/ruby/2.5.0"},
        "program": "${workspaceRoot}/bin/rails",
        "args": [
            "server"
        ]
    }
]

　VisualStudio Code ネットの評価に違わずいい感じです。新しいツールを使うのは少し手間が掛かりますが、気分的にもリフレッシュできますね。

Mybatis自動生成SQLからスキーマ名を除外

投稿日時: 2019年7月22日投稿者: bokusui

　既存のWebサービスをマイグレーションしようという事で、Springboot＆Mybatis3で実装を開始し、開発端末上のOracleDBに接続してMybatisの自動生成機能を使用してみました。

　かなり便利で、簡単なSQLで済む範囲ならSQLを書く必要が無いようです。が、自動生成されたxmlを見てみると、SQL内のテーブル名にスキーマ名が付加されてしまいます。。
　実際に使用するサーバ上のDBはどんなスキーマ名になるか現段階では解らないし、スキーマ名をカットしてくれる設定が無いか、下記を読み込みます。

http://www.mybatis.org/generator/configreference/table.html

それっぽいのを何個か試して、結果、ignoreQualifiersAtRuntime をつける事でsqlMap.xmlに自動生成されるSQLからスキーマ名が無くなりました。

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN" "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd" >
<generatorConfiguration>
    <context id="MyDb" targetRuntime="MyBatis3">
 
        <!-- スキーマ情報を取得する DB への接続設定 -->
        <jdbcConnection
            driverClass="oracle.jdbc.driver.OracleDriver"
            connectionURL="jdbc:oracle:thin:@localhost:1521/dev.local"
            userId="testdb"
            password="password"
        />
        <!-- javaModelGenerator等は割愛 -->
        
        <table schema="testdb" tableName="%"> 
            <property name="ignoreQualifiersAtRuntime" value="true" />
        </table>
    </context>
</generatorConfiguration>

でも、既存システムはかなり複雑なSQLが多数有り、DB設計はそのままとなると、自動生成の恩恵も一部の限られた範囲になってしまいます。

Visual StudioでC++再配布可能パッケージ不要のDLLをビルドする

投稿日時: 2019年6月15日投稿者: bokusui

　結構前にちょっと触ったDLLですが、新しい端末に導入したところ動作しないので、何でだろ？と思ったらC++再配布可能パッケージ系が何も入っていない状態でした。
　再配布パッケージを入れるかどうか検討していたところこちらを発見。

　VisualStudioのプロジェクトの設定を見てみると、こんな感じです。

さらにコード生成の箇所を見てみます。

　ランタイムライブラリの箇所では<別オプション>としか表示されていないので、よく解らなかったのですが、消してから確認した所、<親またはプロジェクトの既定値から継承>が選択されていた事が判明。
　その為、全般設定側で指定されているプラットフォームツールセットに依存して再配布パッケージが必要な状態になっていたようです。２年近くもその事に気が付いていませんでした。。
　コード生成のランタイムライブラリを消してビルドした所、DLLのファイルサイズが大きくなりましたが、再配布可能パッケージ無しでも動くようになりました。

springboot AOP でリクエストパラメータをログに出力する

投稿日時: 2019年5月30日投稿者: bokusui

かなり前から稼働しているWebサービスをspringbootで再構築をしているところですが、リクエストとレスポンスをログに出力するという既存仕様の踏襲にAOPを使ってみました。
　対象のWebサービスは、昔ながらのフォームのポストでリクエストを受け付ける仕様なので、application/x-www-form-urlencodedに対応する形になります。
AOPについては、こちらを参考にさせて頂きました。
リクエストとレスポンスなので、@Aroundでメソッドの前後にログ出力をします。

Controllerのメソッド引数にHttpServletRequestとHttpServletResponseを入れる事で、Advicer側でパラメータが取得出来ました。

@Controller
public class XXXContoller {
	
    @RequestMapping(path={ "/online/XXX.do"}, method = RequestMethod.POST)
    public void doPost(HttpServletRequest request, HttpServletResponse response) {
		//サービス層で処理
    }
}

Adviser側です。

@Aspect
@Component
public class ControllerAdviser {
    private static final Logger logger= LogManager.getLogger();

    /**
     * Controllerメソッドの前後処理
     * */
    @Around("execution(* jp.esoro.application.controller..*.*(..)) && args(request,response,..)")
    public void Around(ProceedingJoinPoint joinPoint, HttpServletRequest request, HttpServletResponse response){
        try {
            String logMessage = request.getRemoteAddr() + ":" +request.getRequestURI() + ":";
            Map<String, String[]> map = request.getParameterMap();
            if(map != null) {
                boolean firstFlg = true;
                for (Iterator<Map.Entry<String, String[]>> it = map.entrySet().iterator(); it.hasNext();) {
                    Map.Entry<String, String[]> entry = it.next();
                    String[] value = entry.getValue();
                    if(value.length > 0){
                        if (firstFlg) {
                            logMessage = logMessage + entry.getKey() + "=" +value[0];
                            firstFlg = false;
                        }
                        else{
                            logMessage = logMessage +"&" + entry.getKey() + "=" +value[0];
                        }
                    }
                }
            }
            logger.info(logMessage);

            //実処理の実行
            joinPoint.proceed();

            //レスポンスログ（未実装）

        } catch (Throwable e) {
            logger.warn(e.getMessage());
        }
    }
}

下記のようにログに出力されました。
2019-05-21 11-38-39.002:0:0:0:0:0:0:0:1:/online/XXXX.do:Id=9999999&Password=ggggg&Action=regist

　でも、今回の要件にはこれ以外にログ出力要件があり、Controllerの引数ではちょっと無理っぽい。。
　他にも、同じクラスから呼ばれたメソッドには適用されないようなので、ビジネスロジック側の影響は避けられないようでした。
　また、戻りがあるメソッドに適用するにはjoinPoint.proceed()の戻りを返す必要があったりと、色々ハマりどころがあるようです。

Selenideでブラウザ操作専用のRPAっぽいのを作ってみた

投稿日時: 2019年4月23日投稿者: bokusui

　とあるWebサイトのデータが欲しいとか、主にブラウザ使って仕事してますとかで、ブラウザの操作を自動化したいという要求は結構あると思います。RPAと謳った製品はあるのでしょうが、そんな大袈裟にやる訳でも無いレベルなものが欲しいなと。昔であれば、エクセルVBAでIEを自動操作とかしてましたが、今回はSeleniumの利用を検討してみました。

　Seleniumといえば、開発者がWebサイトのテストとして使うケースが多く、業務利用的な話はあまり聞きませんが、ブラウザの自動操作なら同じ話、Seleniumを調べていくとjava実装ではSelenideが使いやすいようでした。
　対象となる操作の自動化要求だけ対応するのもつまらないので、いろんな操作を自動で出来るRPAクラス１っぽいものを目指します。

いろんなタイプのブラウザ操作に対応する為に、まず操作テーブルを定義します。今回は、操作対象となるものをWEB、ファイル、プログラムと３種に分類し各操作を定義、実装していきます。
WEBならURLオープンや要素から値を取得したり、要素に値をセットしたり、ファイルならファイルから読込とか出力といった操作です。プログラムは加算や変数に入れる、次に行う処理に飛ぶ判断等です。

で、次は操作対象とするWebページの要素を調べて操作テーブルを作成するのですが、CSSセレクタで指定するのが安定してました。Chormeのデベロッパーツールから要素を右クリックCopyでCopy selecterして、「>」を取ったり最後だけ切り取ったりで指定してます。idやnameがあればそちらの方が良いかも知れません。

実際にWebページからテキストを取得するのは下記のようなソースです。
Selenide.$(By.cssSelector(“span.tlid-translation.translation span”)).getText();

で、大体操作テーブルが出来たので動かしてみます。下記はテストとしてGoogle翻訳ページの操作テーブルです。

結構動かないので操作内容等を微調整していきます。。PAUSE入れたり。。

Selenideというか、Seleniumのはまりどころでしょうか、
・clickは問題無い（画面が遷移するまで待ってくれる）が、JavaScript実行で画面遷移する時は考慮が必要→直前の画面のどこかの要素を取得して、それが変更されていないなら待つみたいな小技が必要
・現時点、Windows環境上ではChromeで動かない→Windows+ChromeだとChrome本体とChromedriverのバージョンが合わない（Macでは動く）、Firefoxは動いた
・Windows＋FireFoxドライバで動かしっぱなしにするとかなりのメモリを消費する→対象のページによるのかも知れませんが、数時間動かすような処理だと定期的に落し上げ（close&open）した方がよさそう

使ってみたいという方がいらっしゃいましたら、コメントからお問い合わせ下さい。
なお、このサイトではコメントの公開はしておりません。

AWS CodePipelineでspringbootアプリをECSへデプロイしてみた

投稿日時: 2019年3月12日投稿者: bokusui

オンプレサーバで稼働しているシステムをAWSへ移行したいという話があり、AWS環境でCI/CDがどう出来るか確認してみました。
構成としては、開発用端末のIDE（IntelliJ IDEA）でコミット、CodeCommitのリポジトリにプッシュしたら、Mavenビルドを開始してECRへコンテナをプッシュ、ECSへデプロイという流れです。

下記AWS環境を用意します。
・ECSの設定（クラスタ、サービス、タスク定義）
・ECRにリポジトリを作成、springbootのアプリなのでopenjdkのイメージをプッシュ
・CodeCommitにリポジトリ作成
・CodePipelineを設定

ググれば、いろいろAWSに関する情報はあるのですが、なかなかうまく出来ません。
で、いろいろやってみた結果、ビルド用にbuildspec.yml、デプロイ用にDockerfileをリポジトリの直下に置くとデプロイが成功しました。

version: 0.2

phases:
  pre_build:
    commands:
      - echo Logging in to Amazon ECR...
      - aws --version
      - $(aws ecr get-login --region $AWS_DEFAULT_REGION --no-include-email)
      - REPOSITORY_URI={AWS上のECRリポジトリ}
      - COMMIT_HASH=$(echo $CODEBUILD_RESOLVED_SOURCE_VERSION | cut -c 1-7)
      - IMAGE_TAG=${COMMIT_HASH:=latest}
  build:
    commands:
      - echo Build started on `date`
      - mvn clean
      - mvn install
      - echo Building the Docker image...          
      - docker build -t $REPOSITORY_URI:latest .
      - docker tag $REPOSITORY_URI:latest $REPOSITORY_URI:$IMAGE_TAG
  post_build:
    commands:
      - echo Build completed on `date`
      - mvn package
      - echo Pushing the Docker images...
      - docker push $REPOSITORY_URI:latest
      - docker push $REPOSITORY_URI:$IMAGE_TAG
      - echo Writing image definitions file...
      - printf '[{"name":"sample-app","imageUri":"%s"}]' $REPOSITORY_URI:$IMAGE_TAG > imagedefinitions.json      
artifacts:
  files:
    - imagedefinitions.json

FROM openjdk:latest
VOLUME /tmp
ADD target/springtest-0.0.1-SNAPSHOT.jar app.jar
EXPOSE 5000
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /app.jar" ]

すいません、情報の参照元が解らなくなってしまいました。。
mvn install　結構時間掛かりますね。。

AWSは数年前にアカウントを登録してちょこっとだけ遊んでみただけだったので、ちゃんとAWS環境を理解した上で整理してからじゃないと実利用には遠い感じです。。

Redmine4のプラグイン開発環境を整備してみた

投稿日時: 2019年1月24日投稿者: bokusui

　独自プラグインが複数入った既存のRedmine2.5をそろそろアップデートしたいという事で、つい先月リリースされたredmine4へアップデートする方向になり、プラグインの改修を行う為にredmine4用の開発環境を使っているWin端末に整備してみました。
　元々Redmine2.5用にWindows7 + Aptana Studio 3(eclipse) の開発環境があり、まずはruby2.0→ruby2.5.3にします。rubyは普通にWindows用のインストーラーで入れましたがruby2.0が入っているので、原始的ですが、環境変数をC:¥Ruby25-x64¥binが先になるように変更してruby2.5を有効にしました。

　次に、AptanaStrudioにrails プロジェクトを作成し、ダウンロードしてきたRedmine4を突っ込み、AptanaStudioのコンソールから、Redmineのインストールを行います。

$ gem install bundler
Fetching: bundler-2.0.1.gem (100%)
Successfully installed bundler-2.0.1
Parsing documentation for bundler-2.0.1
Installing ri documentation for bundler-2.0.1
Done installing documentation for bundler after 9 seconds
1 gem installed

$ bundle install –path vendor/bundle
Fetching gem metadata from https://rubygems.org/……….
Fetching gem metadata from https://rubygems.org/.
Resolving dependencies….
Fetching rake 12.3.2
中略
MSYS2 could not be found. Please run ‘ridk install’
or download and install MSYS2 manually from https://msys2.github.io/

で、起動してみます。

動きません。。。railsがインストール出来ていないようです。

前に出ていた、MSYS2 could not be found. という所で、MSYS2なるものを入れてビルドする必要があるようです。

DOS窓からridk installと打ち、１を選択するとインストーラー画面が出てインストール終了です。

で、railsをインストールします。

C:¥Users¥maki>gem install rails
Temporarily enhancing PATH for MSYS/MINGW…
Building native extensions. This could take a while…
ERROR: Error installing rails:
ERROR: Failed to build gem native extension. current directory: C:/Ruby25-x64/lib/ruby/gems/2.5.0/gems/nio4r-2.3.1/ext/nio4r
C:/Ruby25-x64/bin/ruby.exe -r ./siteconf20190117-14000-1ru4f4e.rb extconf.rb

current directory: C:/Ruby25-x64/lib/ruby/gems/2.5.0/gems/nio4r-2.3.1/ext/nio4r
make “DESTDIR=” clean
‘make’ は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチファイルとして認識されていません。
current directory: C:/Ruby25-x64/lib/ruby/gems/2.5.0/gems/nio4r-2.3.1/ext/nio4r
make “DESTDIR=”
‘make’ は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチファイルとして認識されていません。

make failed, exit code 1

Gem files will remain installed in C:/Ruby25-x64/lib/ruby/gems/2.5.0/gems/nio4r-
2.3.1 for inspection.
Results logged to C:/Ruby25-x64/lib/ruby/gems/2.5.0/extensions/x64-mingw32/2.5.0
/nio4r-2.3.1/gem_make.out

makeが無い？？MSYS2に標準では入っていないようです。。

で、こちらを参考にさせて頂き、MSYS２環境に下記のコマンドを打っていきます。

$ pacman -Su

$ pacman -S mingw-w64-x86_64-gcc

ビルド環境は出来たようなので、AptanaStudioの該当プロジェクト上のターミナルよりrailsのみインストールしてみます。

入ったような気がするが。。。
rails s
まだ動かない。。。

rmagickのインストールでエラーが出ているようなので、除外してインストールし直し

やっと動きました！
DBのマイグレーションはしなかったけど、とりあえず動いたので、これから少しずつプラグインを導入しながら、もぐら叩きが始まります。。

ESORO system design

「システム開発」カテゴリーアーカイブ