Windows To GoがWindows 10 2004でなくなってしまった

Microsoft Windows 10をMay 2020 (2004)にアップデーしたら、Windows To Goがコントロールパネルになくなってしまった。 廃止されてしまったらしい。 BIOSを更新するために使っていたので不便になってしまうが、仕方がない。 幸運なことに、NetBSDを現在利用しているラップトップはWindowsを起動させなくてもBIOSを更新できるので、大きな問題にはならずに済みそうだが。

WindowsからNetBSD/Linuxに中断/再開をサポートしてファイル転送する

WindowsからNetBSDへ巨大なファイルを転送したい。しかし、その間に転送を中断しないといけない時間帯がある。 NetBSDやLinux同士であればrsyncを使うのだが、Windowsネイティブな良いrsyncはないような気がする。 まして、PuTTYと組み合わせようとすると、どうにもできなかった。

良く考えてみると、PuTTYにもsftpを実現するコマンドとしてpsftp.exeというのがあった。 これでreputコマンドを使えばファイル転送を再開できた。

MetabaseでMetabase自身のバックエンドデータベースをPostgreSQLにする

Metabaseをjava -jar metabase.jarで実行すると、特に設定していなければH2データベースがバックエンドとして利用される。 環境変数に指定した上で起動すれば、PostgreSQLも利用できる

export MB_DB_TYPE=postgres
export MB_DB_DBNAME=metabase
export MB_DB_PORT=5432
export MB_DB_USER=metabase_user
export MB_DB_PASS=metabase_password
export MB_DB_HOST=localhost
java -jar metabase.jar

ここで利用するユーザーとデータベースは以下のように用意しておく。 初回起動時にテーブルの作成等は自動的に実施されるので、ユーザーとパスワード、データベースの作成だけしておけば良い。

$ sudo -u pgsql /usr/pkg/bin/createuser metabase_user
$ sudo -u pgsql /usr/pkg/bin/createdb metabase
$ sudo -u pgsql psql -U metabase_user -d metabase
metabase=> alter user metabase_user with password 'metabase_password';
ALTER ROLE
\q

Metabaseで数字8桁で記録された日付を扱う

COBOL派生の環境から移行された情報システムを利用していると、日付が8桁の数字 (例: 20200621) で日付を格納していることがあると思う。 Metabaseでは、画面から日付をdatepickerで入力して検索条件等に利用できるのだが、それは当然のように数字8桁で格納された日付とは一致や比較できない。 データベースはOracle Databaseなので、dateparse()で数字8桁を日付データに変換できると思ったのだが、エラーになってできなかった。 逆に、Metabaseの与える日付を数字8桁に変換することで一致や比較ができるようになったので、例を書いておく。

select
	*
from
    table1
where
	column1 = 'DATA'
	[[and StartDate <= to_char({{TODAY}}, 'yyyymmdd')
	  and EndDate >= to_char({{TODAY}}, 'yyyymmdd')]]

ここで、TODAYがMetabaseが与える変数である。

MetabaseでActive Directory認証する

Metabaseを利用するにあたって、Active Directoryと認証を連携しておきたい。 Metabaseは比較的自由に設定できるのだが、自由であるが故に分かりにくいようにも感じたので、書いておく。

私の環境では、以下のように設定すれば良かった。 LDAP認証の設定である。

サーバーホスト名
tetera-ad1.tetera.org
LDAPポート
3268
LDAPセキュリティ
None
ユーザーネームまたはDN
domainusername@tetera.org
パスワード
domainusernameユーザーのパスワード
ユーザー検索ベース
dc=tetera,dc=org
ユーザーフィルター
(&(sAMAccountName={login}))
これにより、Active Directoryのユーザー名をMetabaseへのログイン名として利用できる。
グループスキーマ
無効
今回はグループについては利用しないため。
メール属性
mail
これにより、電子メールアドレスがアカウントに自動設定できるようだ。
名の属性
givenName
姓の属性
sn

注意としては以下がある。 設定画面に行くには、初回はLDAPではなく電子メールアドレスでログインする必要がある。しかし、その場合にAcrive Directoryのmailアトリビュートと同じ電子メールにすると、 電子メールアドレスでもユーザー名でも、LDAP以前のパスワードでもLDAPのパスワードでもログインできるアカウントができてしまう。 それで良いという考えもあるかもしれないが、これを避けるためにはLDAPに存在しない電子メールアドレスで初回ログインをしておくのが良いようだ。 別に電子メールが送られるという訳でもないので、任意の電子メールアドレスで良いと考えられる。

Metabaseを使ってみる

良く実行するSQLを保存しておけて、ウェブブラウザーから結果を参照しておけるものが欲しいと考えていた。 RedashMetabaseか、似たような他のものを候補にしていた。 私の用途の場合には、Oracle Databaseに接続できることが条件だったし、 サーバーOSはWindows ServerでもLinuxでもなかったので、Java Virtual Machineで動くMetabaseしか最終的には目的を逹することはできなかった。 MetabaseはJDBCでOracle Databaseに接続できるので、NetBSDやFreeBSDのサーバーでも問題なく動かすことができた。

ただ、Business Intelligence (BI)ツールとして使おうとすると、まだ機能不足があるようにも感じた。 しかし、当初の目的である良く使うSQLを保存しておけて、ウェブブラウザーから結果を参照する用途は満足できたと感じた。 変数の扱いがもう少し柔軟だと良いのだが…。

How to use Google G suite OAuth2 with mbsync (from isync) and msmtp on NetBSD

Google will remove Less Secure app Access (LSA) from Gmail of G Suite. And I want to continue to use Gmail from NetBSD laptop with mbsync (isync) and msmtp. However I cannot find any successful report about mbsync with XOAuth2.

I do not understand OAuth2 and its derivatives at all. This post is for reporting how to use mbsync and msmtp for Gmail without LSA, not for understanding OAuth2.

Prerequiestics

I am a NetBSD desktop user. I will use pkgsrc as a package management system. The pkgsrc is portable for almost all POSIX system. You can bootstrap pkgsrc on non-NetBSD POSIX-like operating system that you are using.

I should install the following pkgsrc packages.

  • pkgsrc/mail/isync (isync-1.3.1nb2 or later)
  • pkgsrc/security/cyrus-sasl-xoauth2
  • pkgsrc/mail/msmtp
  • Be sure to use isync-1.3.1nb2 or later. isync-1.3.1nb1 has short buffer (80 bytes) for an output of PassCmd.

    Generate client ID and client secret on Google CLoud Platform console

    Goole Cloud Platform console is ver complicated. I will not show how to generate clinet ID and client secret step by step.

    I should follow Google Cloud Platform console -> API&Services -> Credentials -> OAuth 2.0 Client IDs.

    Get my Access Token and Refresh Token with Google's oauth2.py

    With my client ID and client secret, I can get my (temporal) Access Token and Refresh Token with Google's oauth2.py commandline tool. I can get oauth2.py tool from https://raw.githubusercontent.com/google/gmail-oauth2-tools/master/python/oauth2.py. This oauth2.py is for Python 2.7 not for Python 3. Be sure to execute the tool with python2.7 command from pkgsrc/lang/python27.

    And I must have modern web browser like pkgsrc/www/firefox to access Google's webpage.

    An outline of my steps is as follows.

    1. Execute oauth2.py with my client ID and client secret.
    2. I can get a URI of Google's webpage and open the webpage with my Firefox.
    3. I can get a code and input the code to oauth2.py.
    4. I can get the access token and refresh token.

    I will use the refresh token to renew the access token. Do not discard my refresh token.

    I will execute oauth2.py as follows.

    $ python2.7 /opt/share/oauth2.py \
    --user=MY_GSUITE_EMAIL_ADDRESS \
    --client_id=MY_CLIENT_ID.apps.googleusercontent.com \
    --client_secret=MY_CLIENT_SECRET  \
    --generate_oauth2_token
    

    Create a script to generate a access token from the refresh token

    My access token will expire in 3600 seconds. I will regenerate my access token every e-mail send/fetch. Google's oauth2.py has no special mode to output refresh access token only. I will create the following script as /opt/bin/get_teteraorg_token.sh.

    #! /bin/sh
    /usr/pkg/bin/python2.7 /opt/share/oauth2.py \
    --user=MY_GSUITE_EMAIL_ADDRESS \
    --client_id=MY_CLIENT_ID.apps.googleusercontent.com \
    --client_secret=MY_CLIENT_SECRET \
    --generate_oauth2_token \
    --refresh_token=MY_REFRESH_TOKEN | \
    awk -F" " '{if(NR==1)print $3}'
    

    Do not ferget to execute chmod 700 /opt/bin/get_teteraorg_token.sh.

    My ~/.mbsyncrc

    My .mbsyncrc is very simple. PassCmd and AuthMechs are special.

    IMAPAccount gmail
    Host imap.gmail.com
    User MY_GSUITE_EMAIL_ADDRESS
    #AuthMechs LOGIN
    AuthMechs XOAUTH2
    PassCmd "/opt/bin/get_teteraorg_token.sh"
    SSLType IMAPS
    CertificateFile /etc/openssl/certs/ca-certificates.crt
    
    IMAPStore gmail-remote
    Account gmail
    
    MaildirStore gmail-local
    Path ~/.maildir/teteraorg-gmail/
    Inbox ~/.maildir/teteraorg-gmail/inbox
    
    Channel gmail-inbox
    Master :gmail-remote:
    Slave :gmail-local:
    
    Channel gmail-trash
    Master :gmail-remote:"[Gmail]/Trash"
    Slave :gmail-local:trash
    
    Channel gmail-sent
    Master :gmail-remote:"[Gmail]/Sent Mail"
    Slave :gmail-local:sent
    
    Channel gmail-archive
    Master :gmail-remote:
    Slave :gmail-local:
    Patterns "Arch*"
    
    Group teteraorg
    Channel gmail-inbox
    Channel gmail-sent
    Channel gmail-trash
    Channel gmail-archive
    

    My ~/.msmtprc

    For msmtp, no special patch is reaquired. msmtp has no XOAuth2 support (it seems that XOauth2 support is removed already). Use auth oauthbearer instead.

    defaults
    
    account teteraorg
    tls on
    tls_certcheck off
    tls_starttls off
    host smtp.gmail.com
    port 465
    protocol smtp
    auth oauthbearer
    from MY_GSUITE_EMAIL_ADDRESS
    user MY_GSUITE_EMAIL_ADDRESS
    passwordeval "/opt/bin/get_teteraorg_token.sh"
    
    account default: teteraorg
    

    Windows To GoがWindows 10 2004でなくなってしまった

    Microsoft Windows 10をMay 2020 (2004)にアップデーしたら、Windows To Goがコントロールパネルになくなってしまった。 廃止されてしまったらしい。 BIOSを更新するために使っていたので不便になってしまうが、仕方がない。 ...