URLで整数を増やす方法は?

URLで整数を増やす方法は?

APIとカールを使用してフォーラムをクロールしたいです。

アプリケーションプログラミングインターフェース:

https://api.hackertarget.com/pagelinks/?q=websitetotest.com

初期リンクは次のとおりです。

https://bitcointalk.org/index.php?topic=840124.0

望ましい結果:

https://bitcointalk.org/index.php?topic=840124.20

いつも4,240個できるはずです

https://bitcointalk.org/index.php?topic=840124.4240

ご覧のとおり、変更される唯一の整数は点の後ろの整数です。

ベストアンサー1

Curlは、それを使用してURLにアクセスしたい場合は、スコープ付きURLをサポートしています。

curl ... 'https://bitcointalk.org/index.php?topic=840124.[0-4240]'

...使用したい他のオプションはどこにありますか?

範囲構文を使用すると、1 以外の増分単位に移動することもできます。たとえば、20番目のURLごとにインポートするには、次のようにします。

curl ... 'https://bitcointalk.org/index.php?topic=840124.[0-4240:20]'

詳しくはcurlマニュアルをご覧ください。

URLリストの生成分離または、他のプログラム処理のcurl場合は、中括弧拡張の使用を検討してください(シェルがそれをサポートしている場合)。

printf '%s\n' 'https://bitcointalk.org/index.php?topic=840124.'{0..4240}

他のいくつかのシェルの場合bashと同様に、増分を使用できます'...URL...'{0..4240..20}

その後、このリストは、たとえばURLをパラメータとして使用してユーザーを呼び出すことができるxargsプログラムまたは他のプログラムにパイプすることができます。curl

おすすめ記事