Windows To GoがWindows 10 2004でなくなってしまった

Microsoft Windows 10をMay 2020 (2004)にアップデーしたら、Windows To Goがコントロールパネルになくなってしまった。 廃止されてしまったらしい。 BIOSを更新するために使っていたので不便になってしまうが、仕方がない。 幸運なことに、NetBSDを現在利用しているラップトップはWindowsを起動させなくてもBIOSを更新できるので、大きな問題にはならずに済みそうだが。

WindowsからNetBSD/Linuxに中断/再開をサポートしてファイル転送する

WindowsからNetBSDへ巨大なファイルを転送したい。しかし、その間に転送を中断しないといけない時間帯がある。 NetBSDやLinux同士であればrsyncを使うのだが、Windowsネイティブな良いrsyncはないような気がする。 まして、PuTTYと組み合わせようとすると、どうにもできなかった。

良く考えてみると、PuTTYにもsftpを実現するコマンドとしてpsftp.exeというのがあった。 これでreputコマンドを使えばファイル転送を再開できた。

MetabaseでMetabase自身のバックエンドデータベースをPostgreSQLにする

Metabaseをjava -jar metabase.jarで実行すると、特に設定していなければH2データベースがバックエンドとして利用される。 環境変数に指定した上で起動すれば、PostgreSQLも利用できる。

export MB_DB_TYPE=postgres
export MB_DB_DBNAME=metabase
export MB_DB_PORT=5432
export MB_DB_USER=metabase_user
export MB_DB_PASS=metabase_password
export MB_DB_HOST=localhost
java -jar metabase.jar

ここで利用するユーザーとデータベースは以下のように用意しておく。 初回起動時にテーブルの作成等は自動的に実施されるので、ユーザーとパスワード、データベースの作成だけしておけば良い。

$ sudo -u pgsql /usr/pkg/bin/createuser metabase_user
$ sudo -u pgsql /usr/pkg/bin/createdb metabase
$ sudo -u pgsql psql -U metabase_user -d metabase
metabase=> alter user metabase_user with password 'metabase_password';
ALTER ROLE
\q

Metabaseで数字8桁で記録された日付を扱う

COBOL派生の環境から移行された情報システムを利用していると、日付が8桁の数字 (例: 20200621) で日付を格納していることがあると思う。 Metabaseでは、画面から日付をdatepickerで入力して検索条件等に利用できるのだが、それは当然のように数字8桁で格納された日付とは一致や比較できない。 データベースはOracle Databaseなので、dateparse()で数字8桁を日付データに変換できると思ったのだが、エラーになってできなかった。 逆に、Metabaseの与える日付を数字8桁に変換することで一致や比較ができるようになったので、例を書いておく。

select
	*
from
    table1
where
	column1 = 'DATA'
	[[and StartDate <= to_char({{TODAY}}, 'yyyymmdd')
	  and EndDate >= to_char({{TODAY}}, 'yyyymmdd')]]

ここで、TODAYがMetabaseが与える変数である。

MetabaseでActive Directory認証する

Metabaseを利用するにあたって、Active Directoryと認証を連携しておきたい。 Metabaseは比較的自由に設定できるのだが、自由であるが故に分かりにくいようにも感じたので、書いておく。

私の環境では、以下のように設定すれば良かった。 LDAP認証の設定である。

サーバーホスト名

tetera-ad1.tetera.org

LDAPポート

3268

LDAPセキュリティ

None

ユーザーネームまたはDN

domainusername@tetera.org

パスワード

domainusernameユーザーのパスワード

ユーザー検索ベース

dc=tetera,dc=org

ユーザーフィルター

(&(sAMAccountName={login}))
これにより、Active Directoryのユーザー名をMetabaseへのログイン名として利用できる。

グループスキーマ

無効
今回はグループについては利用しないため。

メール属性

mail
これにより、電子メールアドレスがアカウントに自動設定できるようだ。

名の属性

givenName

姓の属性

sn

注意としては以下がある。 設定画面に行くには、初回はLDAPではなく電子メールアドレスでログインする必要がある。しかし、その場合にAcrive Directoryのmailアトリビュートと同じ電子メールにすると、 電子メールアドレスでもユーザー名でも、LDAP以前のパスワードでもLDAPのパスワードでもログインできるアカウントができてしまう。 それで良いという考えもあるかもしれないが、これを避けるためにはLDAPに存在しない電子メールアドレスで初回ログインをしておくのが良いようだ。 別に電子メールが送られるという訳でもないので、任意の電子メールアドレスで良いと考えられる。

Metabaseを使ってみる

良く実行するSQLを保存しておけて、ウェブブラウザーから結果を参照しておけるものが欲しいと考えていた。 RedashかMetabaseか、似たような他のものを候補にしていた。 私の用途の場合には、Oracle Databaseに接続できることが条件だったし、 サーバーOSはWindows ServerでもLinuxでもなかったので、Java Virtual Machineで動くMetabaseしか最終的には目的を逹することはできなかった。 MetabaseはJDBCでOracle Databaseに接続できるので、NetBSDやFreeBSDのサーバーでも問題なく動かすことができた。

ただ、Business Intelligence (BI)ツールとして使おうとすると、まだ機能不足があるようにも感じた。 しかし、当初の目的である良く使うSQLを保存しておけて、ウェブブラウザーから結果を参照する用途は満足できたと感じた。 変数の扱いがもう少し柔軟だと良いのだが…。

How to use Google G suite OAuth2 with mbsync (from isync) and msmtp on NetBSD

Google will remove Less Secure app Access (LSA) from Gmail of G Suite. And I want to continue to use Gmail from NetBSD laptop with mbsync (isync) and msmtp. However I cannot find any successful report about mbsync with XOAuth2.

I do not understand OAuth2 and its derivatives at all. This post is for reporting how to use mbsync and msmtp for Gmail without LSA, not for understanding OAuth2.

Prerequiestics

I am a NetBSD desktop user. I will use pkgsrc as a package management system. The pkgsrc is portable for almost all POSIX system. You can bootstrap pkgsrc on non-NetBSD POSIX-like operating system that you are using.

I should install the following pkgsrc packages.

pkgsrc/mail/isync (isync-1.3.1nb2 or later)

pkgsrc/security/cyrus-sasl-xoauth2

pkgsrc/mail/msmtp

Be sure to use isync-1.3.1nb2 or later. isync-1.3.1nb1 has short buffer (80 bytes) for an output of PassCmd.

Generate client ID and client secret on Google CLoud Platform console

Goole Cloud Platform console is ver complicated. I will not show how to generate clinet ID and client secret step by step.

I should follow Google Cloud Platform console -> API&Services -> Credentials -> OAuth 2.0 Client IDs.

Get my Access Token and Refresh Token with Google's oauth2.py

With my client ID and client secret, I can get my (temporal) Access Token and Refresh Token with Google's oauth2.py commandline tool. I can get oauth2.py tool from https://raw.githubusercontent.com/google/gmail-oauth2-tools/master/python/oauth2.py. This oauth2.py is for Python 2.7 not for Python 3. Be sure to execute the tool with python2.7 command from pkgsrc/lang/python27.

And I must have modern web browser like pkgsrc/www/firefox to access Google's webpage.

An outline of my steps is as follows.

1. Execute oauth2.py with my client ID and client secret.
2. I can get a URI of Google's webpage and open the webpage with my Firefox.
3. I can get a code and input the code to oauth2.py.
4. I can get the access token and refresh token.

I will use the refresh token to renew the access token. Do not discard my refresh token.

I will execute oauth2.py as follows.

$ python2.7 /opt/share/oauth2.py \
--user=MY_GSUITE_EMAIL_ADDRESS \
--client_id=MY_CLIENT_ID.apps.googleusercontent.com \
--client_secret=MY_CLIENT_SECRET  \
--generate_oauth2_token

Create a script to generate a access token from the refresh token

My access token will expire in 3600 seconds. I will regenerate my access token every e-mail send/fetch. Google's oauth2.py has no special mode to output refresh access token only. I will create the following script as /opt/bin/get_teteraorg_token.sh.

#! /bin/sh
/usr/pkg/bin/python2.7 /opt/share/oauth2.py \
--user=MY_GSUITE_EMAIL_ADDRESS \
--client_id=MY_CLIENT_ID.apps.googleusercontent.com \
--client_secret=MY_CLIENT_SECRET \
--generate_oauth2_token \
--refresh_token=MY_REFRESH_TOKEN | \
awk -F" " '{if(NR==1)print $3}'

Do not ferget to execute chmod 700 /opt/bin/get_teteraorg_token.sh.

My ~/.mbsyncrc

My .mbsyncrc is very simple. PassCmd and AuthMechs are special.

IMAPAccount gmail
Host imap.gmail.com
User MY_GSUITE_EMAIL_ADDRESS
#AuthMechs LOGIN
AuthMechs XOAUTH2
PassCmd "/opt/bin/get_teteraorg_token.sh"
SSLType IMAPS
CertificateFile /etc/openssl/certs/ca-certificates.crt

IMAPStore gmail-remote
Account gmail

MaildirStore gmail-local
Path ~/.maildir/teteraorg-gmail/
Inbox ~/.maildir/teteraorg-gmail/inbox

Channel gmail-inbox
Master :gmail-remote:
Slave :gmail-local:

Channel gmail-trash
Master :gmail-remote:"[Gmail]/Trash"
Slave :gmail-local:trash

Channel gmail-sent
Master :gmail-remote:"[Gmail]/Sent Mail"
Slave :gmail-local:sent

Channel gmail-archive
Master :gmail-remote:
Slave :gmail-local:
Patterns "Arch*"

Group teteraorg
Channel gmail-inbox
Channel gmail-sent
Channel gmail-trash
Channel gmail-archive

My ~/.msmtprc

For msmtp, no special patch is reaquired. msmtp has no XOAuth2 support (it seems that XOauth2 support is removed already). Use auth oauthbearer instead.

defaults

account teteraorg
tls on
tls_certcheck off
tls_starttls off
host smtp.gmail.com
port 465
protocol smtp
auth oauthbearer
from MY_GSUITE_EMAIL_ADDRESS
user MY_GSUITE_EMAIL_ADDRESS
passwordeval "/opt/bin/get_teteraorg_token.sh"

account default: teteraorg