wgetを使用してindex.htmlでURLリストを作成するには？

私はこれについて考えましたが、wgetが作業に最適なツールであるとは確信していません。

2022年に同様のツールを使用してこれを行う方法は次のとおりです。子犬HTML解析用に特別に設計されています（子犬の場合、CSSセレクター):

wget -q -O- https://ubuntu.com/download/alternative-downloads \
  | pup 'a[href$=".torrent"] attr{href}' \
  | aria2c -d ~/Downloads -i -

また、見ることができます

• シデル

  • -e/オプション--extractの使用XPathセレクターデフォルトでは、--css '<selector>'またはCSSセレクタをサポートしています。--extract 'css("<selector>")'
  • curlインターネットリソースに直接アクセスできますが、マイコンピュータよりも少し遅いです。
  • 非常に寛容なパーサー。間違ったHTMLの場合でも、文句はほとんど見られません。
  • 例:

    xidel https://www.videlibri.de/xidel.html \
          -e '//a[ends-with(@href,"/download")]/@href'
    
    # faster, for some reason; don't forget the '-' (read from stdin)!
    curl -q https://www.videlibri.de/xidel.html \
      | xidel -e '//a[ends-with(@href,"/download")]/@href' -
    
    # same as above, using CSS selectors + XPath for the attribute
    curl -q https://www.videlibri.de/xidel.html \
      | xidel -e 'css("a[href$=/download]")/@href' -
    

• xmlstarlet

  • XPathセレクタの使用
  • 〜しなければならない正しい形式のXML / XHTMLを入力として使用してください。
    • パイプを通してxmlstarlet fo -H -R（再び火rmat、予想される入力は次のとおりです。時間TML、一度試してください右エラー後の回復）は、ほとんどのウェブサイトを修正する必要があります。
  • 例:

    # NB: my version of xmlstarlet doesn't support XPath 'ends-with'
    curl -s https://ubuntu.com/download/alternative-downloads \
      | xmlstarlet fo -H -R 2>/dev/null \
      | xmlstarlet sel -t -v '//a[contains(@href, ".torrent")]/@href' -n
    

• アリア2