「ブロックスパース正則化」とは

ブロックスパース正則化とは、信号のブロック構造を利用したスパース正則化のことです

スパース正則化で用いられる L1 ノルムの代わりに、混合 l2/l1 ノルムを用いた正則化を行います

ブロック構造をうまく与えることで、スパース正則化と比べて一般に優れた性能を出すことができます

これは後述するように、L1 ノルムが混合 l2/l1 ノルムの特殊な場合であることから従います

ブロック構造が適切でない場合に、正則化の性能が低下します

したがって、適切なブロック構造が未知の場合は、何らかの方法でブロック構造を推定した上で正則化を行うことが重要です

次式で定義されます
$\mathcal B_1, \mathcal B_2, \cdots, \mathcal B_K$ は信号のブロックを表します

「ブロック構造」と呼んでいるものはこれらのブロックを指します

\|\bm x\|_{2,1} = \sum_{k=1}^K \sqrt{\mathcal{B}_k} \|\bm x_{\mathcal B_k}\|_2

ブロック数を 0 としたとき L2 ノルム、十分に大きくとったとき L1 ノルムに等しくなります．これが「混合 l2/l1 ノルム」と呼ばれている理由だと思われます

ブロック構造が不明な場合におけるアプローチをいくつか紹介します．元論文は後日載せます．

上記2つの手法と比べて，計算量が少なく，正則化項に凸性があります．最適化アルゴリズムが最適化に収束することも保証されているので，初期解によらず最適解が求められるのが特徴です

以上がブロックスパース正則化の紹介でした

スパース推定のアプローチの1つとして知っておくと有用かと思います

Nov’s AI Blog