Unicode および UTF-8、UTF-16、UTF-32 エンコード

Unicode は文字からコード ポイントへのマッピングを指定する文字セットであり、文字エンコーディング (UTF-8、UTF-16、UTF-32) は Unicode コード ポイントの保存方法を指定します。

Unicode では、文字は単一のコード ポイントにマップされますが、エンコード方法に応じて異なる表現になる場合があります。

この議論をもう一度繰り返すつもりはないので、まだよくわからない場合は、以下をお読みください。すべてのソフトウェア開発者が Unicode と文字セットについて絶対に知っておく必要がある最低限の知識 (言い訳はなし!)。

質問の例を使用すると、��コード ポイント にマップされますが、 UTF-8、UTF-16、およびUTF-32 でU+210C1エンコードできます。F0 A1 83 81D844 DCC1000210C1

^{正確に言うと、上記の例はコードポイントをコードユニット（文字エンコード形式）にマッピングする方法を示しています。コードユニットをオクテットシーケンスにマッピングする方法は別の問題です。Unicode エンコード モデル}

PCRE 8 ビット、16 ビット、32 ビット ライブラリ

PHP はまだ PCRE2 (バージョン 10.10) を採用していないため、引用されたテキストは元の PCRE のドキュメントからのものです。

16ビットおよび32ビットライブラリのサポート

PCRE には、デフォルトの 8 ビット ライブラリに加えて、バージョン 8.30 では 16 ビット文字列のサポート、バージョン 8.32 からは 32 ビット文字列のサポートが含まれています。

PCREは8ビット文字列のサポートに加えて、16ビット文字列（リリース8.30以降）と32ビット文字列（リリース8.32以降）もサポートしています。2つの追加ライブラリを介して。これらは、8 ビット ライブラリと同様に、または 8 ビット ライブラリの代わりに構築できます。 [...]

8ビット、16ビット、32ビットの意味

ここでの 8 ビット、16 ビット、32 ビットはデータ単位 (コード単位) を指します。

このドキュメント内のバイトと UTF-8 への参照は、特に指定がない限り、16 ビット ライブラリを使用する場合は 16 ビット データ ユニットと UTF-16 への参照として、32 ビット ライブラリを使用する場合は 32 ビット データ ユニットと UTF-32 への参照として読み取られます。16 ビット ライブラリと 32 ビット ライブラリの具体的な違いの詳細については、pcre16 および pcre32 のページを参照してください。

つまり、8 ビット/16 ビット/32 ビット ライブラリでは、パターンと入力文字列が 8 ビット/16 ビット/32 ビット データ ユニットのシーケンス、または有効な UTF-8/UTF-16/UTF-32 文字列であることを期待します。

データ単位の幅に応じて異なるAPI

PCRE は、8 ビット、16 ビット、32 ビットのライブラリに対して、プレフィックス (それぞれ、) で区別される 3 セットの同一 API を提供しpcre_ます。pcre16_pcre_32

16 ビットおよび 32 ビットの関数は、8 ビットの関数と同じように動作します。引数と結果に異なるデータ型を使用し、名前が ではなくまたは でpcre16_始まる点が異なります。名前に UTF8 が含まれるすべてのオプション (たとえば) には、UTF8 がそれぞれ UTF16 または UTF32 に置き換えられた、対応する 16 ビットおよび 32 ビットの名前があります。この機能は実際には単なる表面的なものであり、16 ビットおよび 32 ビットのオプション名は同じビット値を定義します。pcre32_pcre_PCRE_UTF8

^{PCRE2では、同様の関数命名規則が使用されるここで、8 ビット/16 ビット/32 ビット関数にはそれぞれ_8、、_16の_32接尾辞が付きます。1 つのコード単位幅のみを使用するアプリケーションでは、接尾辞なしで関数の汎用名を使用するように定義できますPCRE2_CODE_UNIT_WIDTH。}

UTF モードと非 UTF モード

UTF モードが設定されている場合(パターン内オプション(*UTF)、、、¹またはコンパイル オプション、、経由)、すべてのデータ ユニットのシーケンスは、サロゲートと BOM を除く、U+0000 から U + 10FFFF までのすべてのコード ポイントで構成される Unicode 文字のシーケンスとして解釈されます。(*UTF8)(*UTF16)(*UTF32)PCRE_UTF8PCRE_UTF16PCRE_UTF32

^{1パターン内オプション(*UTF8)、(*UTF16)は、(*UTF32)対応するライブラリでのみ使用できます。 は、(*UTF16)8 ビット ライブラリでは使用できません。また、一致しない組み合わせも意味をなさないため、使用できません。 は(*UTF)すべてのライブラリで使用でき、パターン内で UTF モードを指定するための移植可能な方法を提供します。}

UTFモードでは、パターン（データ単位のシーケンス）は解釈されたそして検証済みコンパイルされる前に、シーケンスを UTF-8/UTF-16/UTF-32 データ (使用する API によって異なります) としてデコードすることにより、Unicode コード ポイントのシーケンスとして解釈されます。入力文字列は、マッチング プロセス中に Unicode コード ポイントのシーケンスとしても解釈され、オプションで検証されます。このモードでは、文字クラスは 1 つの有効な Unicode コード ポイントと一致します。

一方でUTFモードが設定されていない場合（非UTFモード）、すべての操作はデータユニットシーケンスに対して直接実行されます。このモードでは、文字クラスは1つのデータユニットと一致し、1つのデータユニットに格納できる最大値を除いて、データユニットの値に制限はありません。このモードは、バイナリデータ内の構造のマッチングに使用できます。ただし、Unicode文字を扱う場合はこのモードを使用しないでくださいただし、ASCII で十分で、他の言語を無視する場合は別です。

文字値の制約

8 進数または 16 進数を使用して指定される文字は、次のように特定の値に制限されます。

8-bit non-UTF mode    less than 0x100
8-bit UTF-8 mode      less than 0x10ffff and a valid codepoint
16-bit non-UTF mode   less than 0x10000
16-bit UTF-16 mode    less than 0x10ffff and a valid codepoint
32-bit non-UTF mode   less than 0x100000000
32-bit UTF-32 mode    less than 0x10ffff and a valid codepoint

無効な Unicode コードポイントは、0xd800 から 0xdfff までの範囲 (いわゆる「サロゲート」コードポイント) と 0xffef です。

// NOTE: Save this file as UTF-8

// Take note of double-quoted string literal, which supports escape sequence and variable expansion
// The code won't work correctly with single-quoted string literal, which has restrictive escape syntax
// Read more at: https://php.net/language.types.string
$str_1 = "\xf0\xa1\x83\x81\xf0\xa1\x83\x81";
$str_2 = "����";
$str_3 = "\xf0\xa1\x83\x81\x81\x81\x81\x81\x81";

echo ($str_1 === $str_2)."\n";

var_dump($str_3);

// Test 1a
$match = null;
preg_match("/\xf0\xa1\x83\x81+/", $str_1, $match);
print_r($match); // Only match ��

// Test 1b
$match = null;
preg_match("/\xf0\xa1\x83\x81+/", $str_2, $match);
print_r($match); // Only match �� (same as 1a)

// Test 1c
$match = null;
preg_match("/\xf0\xa1\x83\x81+/", $str_3, $match);
print_r($match); // Match �� and the five bytes of 0x81

// Test 2a
$match = null;
preg_match("/��+/", $str_1, $match);
print_r($match); // Only match �� (same as 1a)

// Test 2b
$match = null;
preg_match("/��+/", $str_2, $match);
print_r($match); // Only match �� (same as 1b and 2a)

// Test 2c
$match = null;
preg_match("/��+/", $str_3, $match);
print_r($match); // Match �� and the five bytes of 0x81 (same as 1c)

// Test 3a
$match = null;
preg_match("/\xf0\xa1\x83\x81+/u", $str_1, $match);
print_r($match); // Match two ��

// Test 3b
$match = null;
preg_match("/\xf0\xa1\x83\x81+/u", $str_2, $match);
print_r($match); // Match two �� (same as 3a)

// Test 4a
$match = null;
preg_match("/��+/u", $str_1, $match);
print_r($match); // Match two �� (same as 3a)

// Test 4b
$match = null;
preg_match("/��+/u", $str_2, $match);
print_r($match); // Match two �� (same as 3b and 4a)

"/\xf0\xa1\x83\x81+/u"
"/��+/u"

"/\x{210C1}/u"
'/\x{210C1}/u'