Skip to content

Unicode の文字位置契約:絵文字で崩れる強調表示と文字数制限

20 文字までの入力欄が、家族の絵文字を含む短い文章を拒否する。検索結果ではアクセントだけが強調表示から外れる。文字列の長さ、見える文字数、API の位置情報を同じ単位だと考えると、このような不具合が起きる。

入力制限、字幕、注釈、編集機能では、絵文字の正規表現を追加する前に座標の契約を決める必要がある。ここではプレーンテキストを扱い、小さな関数でリッチテキスト全体を解決しようとはしない。

三つの長さを使い分ける ​

JavaScript の length は UTF-16 のコード単位を数える。文字列の反復ではコードポイントを得られるが、結合アクセント、肌色修飾子、国旗、ゼロ幅接合子を含む絵文字は、一つの見える文字が複数のコードポイントからできている。書記素クラスタは表示用の切り詰めに向くが、画面上の幅とは異なる。

maxUtf8Bytes、startUtf16、graphemeCount のように単位を名前に含める。単なる length では保存容量、通信上の位置、画面の文字数が混ざる。ASCII だけのテストでは、バイト基準のサーバーと UTF-16 基準の画面の食い違いを発見できない。

見える文字の境界で切り詰める ​

Unicode の分節規則と Intl.Segmenterを利用すると、書記素の境界を扱える。次の関数は家族の絵文字を途中で切らない。省略記号を付けるか、それも制限に含めるかは呼び出し側で決める。

javascript
export function truncateGraphemes(text, limit, locale = 'en') {
  if (!Number.isInteger(limit) || limit < 0) {
    throw new RangeError('invalid limit');
  }
  const segmenter = new Intl.Segmenter(locale, {
    granularity: 'grapheme',
  });
  let result = '';
  let count = 0;
  for (const { segment } of segmenter.segment(text)) {
    if (count === limit) break;
    result += segment;
    count++;
  }
  return result;
}

const text = 'A👨‍👩‍👧‍👦e\u0301';
console.assert(text.length > 3);
console.assert(truncateGraphemes(text, 2) === 'A👨‍👩‍👧‍👦');

対象環境で Intl.Segmenter を確認する。使えない場合は保守された実装を採用し、Array.from(text) に戻して同等と説明しない。後者が数えるのはコードポイントだ。また、実行環境の Unicode データの版によって境界が変わる場合がある。厳密な一致が必要なら規則と共通のテスト資料を固定する。

位置は特定の原文の版に属する ​

API の [start, end) は UTF-16、UTF-8 バイト、コードポイントのどれかを明記する。半開区間は空の選択や隣接区間を表せるが、単位の違いまでは解消しない。文書の版や抜粋の照合情報も返し、編集後に古い範囲を無条件で適用しない。

通常の入力欄の選択位置は UTF-16 で表される。コードポイント基準の注釈なら、各境界を UTF-16 位置へ変換する表を用意できる。DOM Range はさらにノードごとの位置を持つため、文書全体の文字位置をそのまま代入できない。変換は表示のあちこちに散らさず、専用の層にまとめる。

正規化は座標も変える ​

合成済みの é と、e に結合アクセントを加えた表現は、見た目が似ていても長さが違う。NFC は比較や検索に有用な場合があるが、選択取得後に適用して元の位置を使い続けてはいけない。検索で正規化するなら、原文への対応表か正規化済み文書の版が必要になる。

NFKC も無条件の清掃処理にはしない。互換文字の表現を変えるため、識別子の比較、法的な文書、利用者の原文保存では判断が異なる。原文保存、検索表現の生成、表示用の切り詰めを別の処理として扱う。

制限の意味を画面の仕様にする ​

20 文字とは 20 書記素なのか、40 バイトなのか、一行の幅なのか。表示幅はレイアウトで、保存容量は実際の符号化で確認する。入力方式の変換中に切り詰めると候補文字列を壊すので、確定前の操作も分ける。

中国語、日本語、結合文字、国旗、肌色、家族の絵文字を共通の資料にする。切り詰め、コピー、削除、強調表示の往復を検証し、「変換した範囲が意図した原文を選ぶ」ことを確かめる。数値だけ一致していても十分ではない。

MIT Licensed