Heirloom Toolchest tr：マルチバイト文字を含むコレクションのサプリメントを削除中にエラーが発生しましたか？

Question

私はそれを見たことがない。間違い。努力する：

--- tr.c        6 Sep 2005 23:04:11 -0000       1.10
+++ tr.c        30 May 2014 09:46:33 -0000
@@ -291,7 +291,6 @@
                if(c<ccnt) code[c] = d;
                if(d<ccnt && sflag) squeez[d] = 1;
        }
-       free(vect);
        while((d = next(&string2)) != NIL) {
                if(sflag) squeez[d] = 1;
                if(string2.max==NIL && (string2.p==NULL || *string2.p==0))

（これは数ヶ月前の簡単な外観であり、このパッチを介して前進できますが、それが正しいことを保証することはできません。Applyを使用してくださいpatch -l。）

これで/dev/urandomストリームも提供されます。バイト。 UTF-8では、すべてのバイトシーケンスが有効な文字にマッピングされるわけではありません。たとえば、0x41 0x81 0x41は0x800x81なので無効であるため、>=0x80バイトを超える2バイト以上のシーケンスとしてのみ表示できます。

☠の補足文字セットに含まれていないため削除されないため、無効なバイトですtr。

より良い方法は次のとおりです。

recode ucs-2..u8 < /dev/urandom | tr -cd ☠

Ucs-2はU + 0000からU + FFFFまでの文字で、各文字は2バイトにエンコードされ、/dev/urandomucs-2文字ストリームに似ています。（ただし、U+10000からU+10FFFFまでの文字が欠落しています。）

しかし、これにはまだ含まれています。D800..DFFFプロキシペア範囲これはmbrtowc(3)息をのむようなものです（少なくとも私のバージョンのlibcでは）。

これらのコードポイントはUTF-16エンコーディング用に予約されています。たとえば、d800dc00はU + 10000のUTF-16BEエンコーディングですが、U + D800文字またはU + DC00はありません。これらの文字のUTF-8エンコーディングも意味がありません（隣接する場合でも）。

したがって、まず除外する必要があります。

perl -ne 'BEGIN{$/=\2;binmode STDOUT,":utf8"}
          $c = unpack("n",$_); if ($c < 0xd800 || $c > 0xdfff) {
            no warnings "utf8"; print chr($c)
          }' < /dev/urandom | tr -cd ☠

目標がUTF-8でエンコードされた任意のUnicode文字ストリームを取得する場合は、許容範囲（0..0xd7ff、0xf000..0x10ffff）内で任意のコードポイントを取得してUTF-8に変換することをお勧めします。に基づいている場合は、/dev/urandom各コードポイントに3バイト（24ビット）を使用できます。

perl -ne 'BEGIN{$/=\3;binmode STDOUT,":utf8"}
          $c = unpack("N","\0$_") * 0x10F800 >> 24;
          $c+=0x800 if $c >= 0xd800;
          do {no warnings "utf8"; print chr($c)}' < /dev/urandom |
  tr -cd ☠

Answer 1