☰

サポートベクターマシンに対する人工ニューラルネットワークの利点は何ですか? [closed] 質問する

tag-icon • tag-icon machine-learning neural-network classification svm
サポートベクターマシンに対する人工ニューラルネットワークの利点は何ですか? [closed] 質問する

人工ニューラルネットワーク（ANN）とサポートベクターマシン（SVM）は、教師あり機械学習分類。特定のプロジェクトにどちらの方法が適しているかは明確ではないことが多く、答えは常に「場合による」と確信しています。多くの場合、両方の組み合わせとベイジアン分類が使用されます。

Stack Overflow では、ANN と SVM に関してすでに次のような質問が寄せられています。

この質問では、ANN（具体的には、多層パーセプトロン) は SVM よりも使用するのが望ましいのでしょうか? 私がそう尋ねる理由は、反対の質問に答えるのが簡単だからです。サポート ベクター マシンは、ANN の 2 つの大きな弱点を回避できるため、多くの場合 ANN よりも優れています。

（１）ANNは大域的最小値ではなく局所的最小値に収束することが多く、本質的に「全体像を見失う」（あるいは木を見て森を見失う）ことがあることを意味する。

（２）ANNは、トレーニングが長すぎると過剰適合することが多く、与えられたパターンに対して、ANNがノイズをパターンの一部と見なし始める可能性がある。

SVM は、これら 2 つの問題のいずれにも悩まされることはありません。ただし、SVM が ANN の完全な代替品となることは明らかではありません。では、 ANN が SVM に対して、特定の状況に適用できる具体的な利点は何でしょうか。SVM が ANN に対して持つ具体的な利点を挙げましたが、今度は ANN の利点 (ある場合) の一覧を見たいと思います。

ベストアンサー1

あなたが提供した例から判断すると、ANN とは、SVM と直接競合する多層パーセプトロンなどの多層フィードフォワード ネットワーク (略して FF ネット) を意味していると思われます。

これらのモデルが SVM より優れている点の 1 つは、サイズが固定されていることです。これらはパラメトリックモデルですが、SVM はノンパラメトリックです。つまり、ANN には、特徴の数に応じてサイズがh 1からh nまでの多数の隠し層とバイアス パラメーターがあり、これらがモデルを構成します。対照的に、SVM (少なくともカーネル化されたもの) は、トレーニング セットから選択されたサポート ベクトルのセットで構成され、それぞれに重みがあります。最悪の場合、サポート ベクトルの数はトレーニング サンプルの数とまったく同じになります (ただし、これは主にトレーニング セットが小さい場合や、条件が悪くなる場合に発生します)。また、一般にモデル サイズは線形に増加します。自然言語処理では、それぞれが数十万の特徴を持つ数万のサポート ベクトルを持つ SVM 分類器は珍しくありません。

また、オンライントレーニングFF ネットの学習はオンライン SVM フィッティングに比べて非常に簡単で、予測もかなり速くなります。

上記はすべて、カーネル化された SVM の一般的なケースに当てはまります。線形 SVM は、パラメトリックであり、確率的勾配降下法などの単純なアルゴリズムを使用してオンライン学習を可能にするという点で特殊なケースです。

おすすめ記事