「ソースコードは 1 行あたり 80 文字以内」とか「コミットログは横幅 72 文字以内」とか、文字数に関するルールはいろいろある。

ルールを徹底するには機械的に判定したい。と思って、簡単なスクリプトを書こうとした瞬間、意外と「1 行あたりの文字数」をカウントするのが難しいことに気付いた。

たとえば、「あA」は「全角 1 文字＋半角 1 文字」なので半角 3 文字分としてカウントしたい。

しかし、UTF-8 の世界では「あA」の文字長は 2 だし、バイト数は 4 (あ=0xE38182、a=0x41) である。

EUC-JP や Shift-JIS の時代なら、単純に「あA」は 3 バイトなので「半角 3 つ分」とすぐ分かったのだけども… (逆に文字長を調べるのが面倒だった)。

はて、どうするか？　というのがこの記事でいいたいこと。

East Asian Width を見よ

いろいろとググった結果、Unicode の East Asian Width を参照するとよいらしい。

East Asian Width で EastAsianWidth.txt という資料が紹介されている。この資料では、全ての文字の横幅が 6 つのカテゴリーに分類されている。

そのカテゴリーが次の 6 つ。

たとえば、「あ」なら 3042;W # HIRAGANA LETTER A と書いてある。カテゴリーは W なので、全角 （＝半角 2 文字分) だと分かる。

ということで、F・W は全角 (＝ 2 文字分)、H・Na・N は半角 (＝ 1 文字) として扱えばよいわけだ。

Ambiguous をどうするか問題

で、A (East Asian Ambiguous) の扱いが難しい。

例にあるような ○☆※ などの記号を見ると全角として扱いたくなる。しかし、A にはロシア語も含まれている。

A を一律に全角として扱うと、「1 行に 80 文字以上書いたら警告出すシステム」を作ると、「80 文字超えてないのに警告出るんだけどなにこれ？」とロシアの人に怒られてしまうかもしれない。

具体例をみてみよう。ロシア語でヘンタイをあらわす「Хентай」をいくつかの環境で表示してみた。

Cent OS のコンソールでは半角になっているが、MS ゴシックなら全角になる。プロポーショナルなメイリオでは、だいたい半角で表示している。

悩ましい・・・！

とりあえず、Ambiguous は 1 文字として扱うのが安全そうだ。ある環境で 80 文字以上に見えていても、別の環境では 80 文字以内に見えている…ということは十分に起こりうるのだ…！

いろんな言語で判別したいよ

さて、一次情報と判定方法が分かったところで、いろんなスクリプト言語で実装するにはどうしたらいいだろう。"East Asian Width" 言語名 で検索したら、それなりに情報が出てくる。

Python

一番簡単だったのが Python さん。標準モジュールの unicodedata に unicodedata.east_asian_width(unichr) なるメソッドがあった。

>>> import unicodedata
>>> unicodedata.east_asian_width(u'あ')
'W'
>>> unicodedata.east_asian_width(u'※')
'A'

PHP

伝家の宝刀 mb うんたらの関数群の中に、期待通り mb_strwidth() がいた。

echo mb_strwidth("あ"); // 2
echo mb_strwidth("※"); // 1

Ambiguous は 1 を返すようだ。

Ruby

標準ではムリだけど、unicode-display_width なるモジュールが gem にあった。

require 'unicode/display_width'
"○".display_width #=> 1
'一'.display_width #=> 2

現時点では Ambiguous は全部 1 を返しているよ、ということが TODO のところに書いてある。

JavaScript

こちらも標準ではムリだけど、eastasianwidth なるモジュールが npm にあがっている。

var eaw = require('eastasianwidth');
console.log(eaw.eastAsianWidth('￦')) // 'F'
console.log(eaw.eastAsianWidth('｡')) // 'H'
console.log(eaw.eastAsianWidth('뀀')) // 'W'

console.log(eaw.length('あいうえお')) // 10

ソースコードを読んだところ、Ambiguous は 2 を返している。

Perl

CPAN にある Unicode::EastAsianWidth を使えば、次のようにできるらしい。

use Unicode::EastAsianWidth;

$_ = chr(0x2588); # FULL BLOCK, an ambiguous-width character

/\p{InEastAsianAmbiguous}/; # true
/\p{InFullwidth}/;          # false

長さやカテゴリーが返ってこない分、少し面倒そう。

まとめ

3 行でまとめちゃう。

• UTF-8 では半角何文字分で表示されるのかを調べるのは少し面倒になった。
• しかも、環境によって何文字分で表示するかは違うので、完全に調べきるのはあきらめたほうがよい。
• 一次情報は East Asian Width にあるが、各種スクリプト言語には便利なライブラリーを使えばよい。