☰

wgetの出力をgrepにパイプして行を選択します。

tag-icon • tag-icon grep wget
wgetの出力をgrepにパイプして行を選択します。

大容量ファイルをダウンロードする必要がありますが、サーバーに入れるには容量が大きすぎて（〜1 Tb）スキーマテキストファイルに必要な行だけを保存したいと思います。

wget www.foo.com/file.txt | grep -f file.txt

パターンテキストファイルには、bar次のパターンが含まれています。

test blah blah foo
blah test bar blah

さまざまな組み合わせを試しましたが、それらのどれもファイル内の正しい行を維持できませんでした。可能ですか？

ベストアンサー1

wget -q URL -O-STDOUT（）とファイルの検索パターンを使用する簡単なアプローチは問題なく実行されます。

echo HERR > /tmp/search.txt
echo Frau >> /tmp/search.txt
wget -q https://archive.org/stream/DieBibel-AltesUndNeuesTestament-NachMartinLuther/DieBibel-Deutsch-Pdf_djvu.txt -O- | grep -f /tmp/search.txt

おすすめ記事