Singulärvärdesuppdelning

Från Rilpedia

Texten från svenska Wikipedia

Inom linjär algebra är singulärvärdesuppdelning (eng. singular value decomposition, SVD), ibland kallat singulärvärdesfaktorisering eller singulärvärdesdekomposition, en sorts matrisfaktorisering. Alla reella och komplexa matriser kan faktoriseras med singulärvärdesuppdelning.

Innehåll

1 Definition
2 Beräkning
- 2.1 Metod anpassad för beräkning av människor
  - 2.1.1 Exempel
- 2.2 Numerisk beräkningsmetod
3 Tillämpningar
4 Se även
5 Referenser

Definition

För en matris A av storlek $m\times n$ är singulrvärdesuppdelningen

$A=U \Sigma V^*\,$

där U är en kvadratisk unitär $m \times m$ -matris, $Σ$ en är en diagonal och icke-negativ $m \times n$ -matris och $V *$ betecknar det hermiteska konjugatet till V, som är en unitär $n \times n$ -matris. Matrisen $Σ$ har singulärvärdena till $A$ i sin diagonal, och vanlig praxis är att dessa singulärvärden ordnas i storleksordning med det största singulärvärdet först vänsterifrån i $Σ$ .

Singulärvärdesuppdelning är inte entydlig. Exempelvis är $U K (m, m) Σ(V K (n, n)) *$ också en giltig uppdelning, där $K (m, m)$ och $K (n, n)$ är diagonalmatriser med $e i θ$ i diagonalen, för godtyckligt värde på $θ$ .

Singulärvärdesuppdelning på summaform

Man kan skriva om singulärvärdesuppdelningen $A = U Σ V *$ , där matrisen A har rang r, som en summa med r stycken matriser, så att varje matris i summan får rang 1, enligt nedan.

$A = \underbrace{\sum_{i=1}^r \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^*}_{\mbox{rang r}} = \underbrace{\sigma_1 \boldsymbol{u}_1 \boldsymbol{v}_1^*}_{\mbox{rang 1}} + \ldots + \underbrace{\sigma_r \boldsymbol{u}_r \boldsymbol{v}_r^*}_{\mbox{rang 1}}$

Här är $σ i$ singulärvärde nummer $i$ till A, $\boldsymbol{u}_i$ kolonnvektor $i$ i U och $\boldsymbol{v}_i^*$ radvektor $i$ i V.

Tunn singulärvärdesuppdelning

Tunn singulärvärdesuppdelning fås genom att enbart beräkna de n vektorer i U som korresponderar med radvektorer i $V *$ . Övriga kolumnvektorer i U beräknas inte, och därmer går det mycket snabbare att beräkna en tunn singulärvärdesuppdelning jämfört med en vanlig singulärvärdesuppdelning.

$A = U_n \Sigma_n V^* \,$

Matrisen $U n$ blir då en $m \times n$ -matris, $Σ n$ en $n \times n$ -matris och V en $n \times n$ -matris.

Tunn singulärvärdesuppdelning är i synnerhet mer beräkningseffektiv än vanlig singulärvärdesuppdelning om $n < < m$ .

Kompakt singulärvärdesuppdelning

Kompakt singulärvärdesuppdelning fås genom att enbart beräkna de r kollumnerna i U och de r raderna i $V *$ som korresponderar mot nollskillda singulärvärden. Då fås:

$A=U_r \Sigma_r V^*_r$

Här är $U r$ en $m \times r$ -matris, $Σ r$ en diagonal $r \times r$ -matris och $V^*_r$ en $r \times n$ -matris.

Kompakt singulärvärdesuppdelning är mer beräkningseffektiv än tunn singulärvärdesuppdelning om $r < < n$ .

Beräkning

Metod anpassad för beräkning av människor

För en $m \times n$ -matris A fås singulärvädesuppdelningen i ett fåtal steg. Man börjar med att beräkna den kvadratiska matrisen $A * A$ . Varför man gör detta syns tydligare om man skriver om $A$ med singulärvärdesuppdelning:

$A^* A = (U \Sigma V^*)^* U \Sigma V^* = V \Sigma^* \underbrace{U^* U}_{=I} \Sigma V^* = V \Sigma^* \Sigma V^*\ = V \underbrace{\begin{pmatrix} |\sigma_1|^2 & & & \\ & |\sigma_2|^2 & & \\ & & \ddots & & \\ & & & |\sigma_k|^2 \end{pmatrix}}_{\tilde{\Sigma}} V^*,$

Spektralsatsen för hermiteska matriser säger att alla hermiteska matriser M kan skrivas som $M = W Λ W *$ , där $Λ$ är en diagonal matris med egenvärdena till matrisen M i diagonalen. Kolonnvektorerna till W utgörs av egenvektorerna till matrisen M , som i sin tur utgör en ortonormerad bas. Notera att eftersom M är en hermitesk matris har den enbart reella egenvärden.

Eftersom $A * A$ är en hermitesk matris ( $(A * A) * = A * A * * = A * A$ ) har vi alltså likheten

$V \tilde{\Sigma} V^*= W \Lambda W^* \,$

Eftersom singulärvärdena till A är positiva (alltså är $| σ i | = σ i$ ) ser man att dessa fås genom att ta roten ur egenvärdena till $A * A$ , dessutom ser man att V fås genom att beräkna egenvektorer till matrisen $A * A$ .

Med $A$ , $V$ och $Σ$ kända beräknas $U$ enkelt genom att ställa upp $A V = U Σ$ . Eftersom $Σ$ är en diagonal matris är det enkelt att beräkna likheten. Ifall, för $m \times n$ -matrisen A, $m \ne n$ eller ifall matrisen A inte har full rang kommer några kolonner inte att fås i detta steg, eftersom de multipliceras med 0. Dessa kolonnvektorer väljs då med fördel så att matrisen U blir unitär.

Alternativt kan man beräkna U genom att ställa upp $A A *$ , då har man istället V som obekant och V kan beräknas som förklaras ovan. Man kan även beräkna U samt V separat genom att ställa upp $A * A$ och $A A *$ , denna metod innebär dock oftast mer arbete då man måste beräkna egenvektorer till två matriser.

Exempel

$A = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix} \; , \; m=3 \; , \; n=2 \; , \; \mbox{reellt} (A^* = A^T)$

Man börjar med att beräkna $A * A$ .

$A^* A = \begin{pmatrix} 1 & 0 & -1 \\ 0 & 1 & 2 \end{pmatrix} \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix} = \begin{pmatrix} 2 & -2 \\ -2 & 5 \end{pmatrix}$

Nu beräknar man egenvärden och egenvektorer till $A * A$ genom att ställa upp det karakteristiska polynomet, för exempel på detta se artikeln om egenvärden och egenvektorer. Vi får egenvärdena till $\lambda_1 = 6 ,\, \lambda_2 = 1$ , och därmed blir singulärvärdena $\sigma_1 = \sqrt{6} , \, \sigma_2 = 1$ . Vi får egenvektorerna (normerade) enligt nedan:

$\boldsymbol{v}_1 = \frac{1}{\sqrt{5}} \begin{pmatrix} 1 \\ -2 \end{pmatrix}, \boldsymbol{v}_2 = \frac{1}{\sqrt{5}}\begin{pmatrix} 2 \\ 1 \end{pmatrix} \Rightarrow V = \frac{1}{\sqrt{5}} \begin{pmatrix} 1 & 2 \\ -2 & 1 \end{pmatrix}$

Nu beräknar man U med hjälp av sambandet $A V = U Σ$

$A V = \frac{1}{\sqrt{5}} \begin{pmatrix} 1 & 2 \\ -2 & 1 \\ -5 & 0 \end{pmatrix} = \begin{pmatrix} | & | & | \\ \boldsymbol{u}_1 & \boldsymbol{u}_2 & \boldsymbol{u}_3 \\ | & | & |\end{pmatrix} \begin{pmatrix} \sqrt{6} & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix} = U \Sigma \,$

Man ser att $\boldsymbol{u}_1$ kommer multipliceras med $\sqrt{6}$ , att $\boldsymbol{u}_2$ kommer multipliceras med 1 och att $\boldsymbol{u}_3$ kommer multipliceras med 0. Nu väljer man $\boldsymbol{u}_1$ och $\boldsymbol{u}_2$ så att likheten $A V = U Σ$ gäller, $\boldsymbol{u}_3$ väljs ortogonal mot $\boldsymbol{u}_1$ och $\boldsymbol{u}_2$ .

$\boldsymbol{u}_1 = \frac{1}{\sqrt{30}} \begin{pmatrix} 1 \\ -2 \\ -5 \end{pmatrix}, \boldsymbol{u}_2 = \frac{1}{\sqrt{5}} \begin{pmatrix} 2 \\ 1 \\ 0 \end{pmatrix}, \boldsymbol{u}_3 = \frac{1}{\sqrt{6}} \begin{pmatrix} 1 \\ -2 \\ 1 \end{pmatrix} \Rightarrow U = \begin{pmatrix} \frac{1}{\sqrt{30}} & \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{6}} \\ \frac{-2}{\sqrt{30}} & \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{6}} \\ \frac{-5}{\sqrt{30}} & 0 & \frac{1}{\sqrt{6}} \end{pmatrix} \,$

Alltså har vi vår singulärvärdesuppdelning enligt nedan.

Singulärvärdesuppdelningen på vanlig form:

$\underbrace{\begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix}}_{A} = \underbrace{\begin{pmatrix} \frac{1}{\sqrt{30}} & \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{6}} \\ \frac{-2}{\sqrt{30}} & \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{6}} \\ \frac{-5}{\sqrt{30}} & 0 & \frac{1}{\sqrt{6}} \end{pmatrix}}_{U} \underbrace{\begin{pmatrix} \sqrt{6} & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix}}_{\Sigma} \underbrace{\begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} \end{pmatrix}}_{V^*}$

Singulärvärdesuppdelningen på summaform:

$\underbrace{\begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix}}_{A} = \underbrace{\sqrt{6}}_{\sigma_1} \underbrace{\begin{pmatrix} \frac{1}{\sqrt{30}} \\ \frac{-2}{\sqrt{30}} \\ \frac{-5}{\sqrt{30}} \end{pmatrix}}_{\boldsymbol{u}_1} \underbrace{\begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{5}} \end{pmatrix}}_{\boldsymbol{v}_1^*} + \underbrace{1}_{\sigma_2} \underbrace{\begin{pmatrix} \frac{2}{\sqrt{5}} \\ \frac{1}{\sqrt{5}} \\ 0 \end{pmatrix}}_{\boldsymbol{u}_2} \underbrace{\begin{pmatrix} \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} \end{pmatrix}}_{\boldsymbol{v}_2^*}$

Singulärvärdesuppdelningen på tunn form:

$\underbrace{\begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix}}_{A} = \underbrace{\begin{pmatrix} \frac{1}{\sqrt{30}} & \frac{2}{\sqrt{5}} \\ \frac{-2}{\sqrt{30}} & \frac{1}{\sqrt{5}} \\ \frac{-5}{\sqrt{30}} & 0 \end{pmatrix}}_{U_2} \underbrace{\begin{pmatrix} \sqrt{6} & 0 \\ 0 & 1 \end{pmatrix}}_{\Sigma_2} \underbrace{\begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} \end{pmatrix}}_{V^*}$

Numerisk beräkningsmetod

Singulärvärdesuppdelningen till en matris A beräknas typiskt i två steg. I det första steget reduceras A till en bidiagonal matris. Detta tar $O (m n 2)$ flyttalsoperationer, om $m \ge n$ .

Det andra steget går ut på att beräkna singulärvärdesuppdelningen till denna bidiagonala matris. Detta steg beräknas iterativt med en bestämd precision. Om denna precision antas konstant tar det andra steget $O (n)$ iterationer, som var kostar $O (n)$ flyttalsoperationer. Därmed är det första steget det dyrare, och den totala kostnaden är $O (m n 2)$ flyttalsoperationer.

Tillämpningar

Beräkning av pseudoinvers

Man kan enkelt beräkna Moore-Penrose pseudoinvers, betecknat $\dagger$ nedan, till en matris A med hjälp av singulärvärdesuppdelning. Om A har singulärvärdesuppdelning enligt $A = U Σ V *$ fås Moore-Penrose pseudoinvers till A enligt nedan.

$A^\dagger = V \Sigma^\dagger U^* \,$

Här beräknar man Σ^† genom att först ta inversen av varje nollskillt singulärvärde i Σ, de singulärvärden som var 0 i Σ förblir 0 i Σ^†, och sedan transponerar man resultatet. Moore-Penrose pseudoinvers används bland annat för att lösa linjära minstakvadratproblem.

Bestämning av de fyra fundamentala underrummen samt rang

Man kan enkelt bestämma rang samt de fyra fundamentala underrummen (värderummet och nollrummet till en given matris och matrisens hermiteska konjugat) till en matris A genom att titta på matrisens singulärvärdesuppdelning. Antag en singulärvärdesuppdelning enligt nedan, där $σ 1$ till $σ r$ är samtliga nollskillda singulärvärden.

$A_{(m,n)} = \underbrace{\begin{pmatrix} | & & | & | & & | \\ u_1 & \cdots & u_r & u_{r+1} & \cdots & u_m \\ | & & | & | & & | \end{pmatrix}}_{m \times m} \underbrace{\begin{pmatrix} \sigma_1 & & & & & \\ & \sigma_2 & & & & \\ & & \ddots & & & \\ & & & \sigma_r & & \\ & & & & & \end{pmatrix}}_{m \times n} \underbrace{\begin{pmatrix} - & \bar{v}_1 & - \\ - & \vdots & - \\ - & \bar{v}_r & - \\ - & \bar{v}_{r+1} & - \\ & \vdots & \\ - & \bar{v}_n & - \end{pmatrix}}_{n \times n} \,$

Då fås följande:

$\operatorname{rank} \, A = \dim(V(A)) = r \,$

$V(A)= N(A^*)^{\perp} = \left[ \begin{pmatrix} | \\ u_{1} \\ | \end{pmatrix}, \, \begin{matrix} \\ \cdots \\ \end{matrix} \, , \begin{pmatrix} | \\ u_{r} \\ | \end{pmatrix} \right] \, \sub \, \mathbb{C}^m$

$V(A^*) = N(A)^{\perp} = \left[ \begin{pmatrix} | \\ v_{1} \\ | \end{pmatrix}, \, \begin{matrix} \\ \cdots \\ \end{matrix} \, , \begin{pmatrix} | \\ v_{r} \\ | \end{pmatrix} \right] \, \sub \, \mathbb{C}^n$

$N(A) = V(A^*)^{\perp} = \left[ \begin{pmatrix} | \\ v_{r+1} \\ | \end{pmatrix}, \, \begin{matrix} \\ \cdots \\ \end{matrix} \, , \begin{pmatrix} | \\ v_{n} \\ | \end{pmatrix} \right] \, \sub \, \mathbb{C}^n$

$N(A^*) = V(A)^{\perp} = \left[ \begin{pmatrix} | \\ u_{r+1} \\ | \end{pmatrix}, \, \begin{matrix} \\ \cdots \\ \end{matrix} \, , \begin{pmatrix} | \\ u_{m} \\ | \end{pmatrix} \right] \, \sub \, \mathbb{C}^m$

Approximation med matris av lägre rang

En vanlig tillämpning av singulärvärdesuppdelning är att approximera en given matris med en annan liknande matris av lägre rang. Om man vill approximera en matris $A$ av rang r med en matris $\tilde{A}$ , som har rang $R$ , där $R < r$ , fås $\tilde{A}$ med hjälp av singulärvärdesuppdelningen på summaform enligt nedan:

$A \approx \tilde{A} = \sum_{i=1}^R \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^*\,$

I de flesta tillämpningar är felet viktigt, vi betecknar felet B enligt följande.

$B = A - \tilde{A} = A - \sum_{i=1}^R \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^* \,$

Genom operatornorm eller frobeniusnorm av B fås felet vid approximationen $A \approx \tilde{A}$ , dessa normer kan enkelt beräknas med hjälp av singulärvärdena enligt vad som visas nedan. Vilken av normerna som är bäst lämpad för feluppskattningen beror på tillämpning.

$||B||_{OP} = \sigma_{R+1}\,$

$||B||_{F} = \sqrt{\sigma_{R+1}^2 + \ldots + \sigma_{r}^2} \,$

Denna metod för approximation används inom många tillämpningar, bland annat inom signalbehandlning. Om man t.ex. har brus av storleksordningen $σ R + 1$ så kan man slänga bort termer som är små jämfört med bruset så att $\tilde{A}$ ger en förbättrad signal.

Andra vanliga användningsområden

Se även

Matrisfaktorisering

Referenser

Treil, Sergei. Linear Algebra Done Wrong, 2004, Brown University. Tillgänglig: http://www.math.brown.edu/~treil/index.html