各単語（タグ）が4列の別々の行にある垂直ファイルがあります。次のように文書化されたメタ構造もあります<doc>。<s>
<doc name="sth" url="http">
<p>
<s>
Here here k1gInSc1 here
is be k1gMnPc2 be
a a k2eAgMnPc1d1 a
sentence sentence k1gMnPc1 sentence
<g/>
. . kIx.
</s>
</p>
</doc>
問題は時々文字エンコーディングが間違っていることです。ㅏまたはㅏたとえば、最初の列では
<doc name="sth" url="http">
<p>
<s>
Here here k1gInSc1 here
is be k1gMnPc2 be
Ă Ă k? Ă
sentence sentence k1gMnPc1 sentence
<g/>
. . kIx.
</s>
</p>
</doc>
これらの文字を見つけて文書全体の構造を削除する必要があります。だから私が見つけたらㅏ<doc...>1行からすべての行間のすべての項目を削除する必要があります</doc>。
私のファイルには10億行があり、そのうち約1000行に誤ってエンコードされた文字が含まれています。
私はgrepを使って間違った文字を見つけます。
xzcat file.vert.xz | grep -i "Ă\|Ĺ\|ľ\|ş\|Ä" > file_bad_characters.txt
どのようにこれらの文字を検出し、その行だけでなく、<doc>構造間のテキスト全体を削除できますか？
ベストアンサー1
正しいアプローチは、適切なXMLパーサーを使用することです。ただし、この場合、次の方法を使用すると回避策になる可能性があります。
ファイルから空白行をすべて削除します。
sed -i '/^\s*$/d' file各項目の前に空白行を追加します
<doc>。sed -i 's/<doc/\n\n<doc/' file「行」が「段落」（空白行の前のテキスト部分）として定義されているユーザーPerlの「段落モード」：
perl -00 -ne 'print unless /[ĂĹľşÄ]/' file > newfileまたは、ソースファイルを置き換えるには、次の手順を実行します。
perl -i.bak -00 -ne 'print unless /[ĂĹľşÄ]/' file
重要<doc...：すべてがタグ内にあるよく構造化されたファイルを想定しています。