Kovarians

Kurs: S0008M Förkunskaper: Flerdimensionella fördelningar, Varians och standardavvikelse

---

Kovariansen mäter hur två stokastiska variabler samvarierar: den är positiv om stora värden på den ena tenderar att åtföljas av stora värden på den andra, och negativ om de tenderar att gå åt olika håll. Den behövs för att räkna ut variansen av en summa av beroende variabler.

---

1. Idén

Låt ${\xi }_1$ och ${\xi }_2$ vara längd och vikt för en slumpvald person, med väntevärden ${\mu }_1$ och ${\mu }_2$. En person över medellängd väger oftast över medelvikten, och en person under medellängd oftast under. Avvikelserna ${\xi }_1-{\mu }_1$ och ${\xi }_2-{\mu }_2$ har alltså oftast samma tecken, så produkten $({\xi }_1-{\mu }_1)({\xi }_2-{\mu }_2)$ blir i genomsnitt positiv.

Vid ett negativt samband har avvikelserna oftast olika tecken och produkten blir i genomsnitt negativ. Saknas linjärt samband tar positiva och negativa produkter ut varandra.

Punkter i de rödbruna kvadranterna ger en positiv produkt $({\xi }_1-{\mu }_1)({\xi }_2-{\mu }_2)$, punkter i de blå en negativ. Här dominerar de rödbruna, så kovariansen är positiv. Håll musen över en punkt för att se produkten.

---

2. Definitionen

Definition 1.16 (kompendiet). Kovariansen mellan ${\xi }_1$ och ${\xi }_2$ är

$$\boxed{\text{Cov}({\xi }_1,{\xi }_2)=E(({\xi }_1-{\mu }_1)({\xi }_2-{\mu }_2))},{\mu }_i=E({\xi }_i)$$

För räkning är omskrivningen

$$\boxed{\text{Cov}({\xi }_1,{\xi }_2)=E({\xi }_1{\xi }_2)-{\mu }_1{\mu }_2}$$

oftast smidigast, där $E({\xi }_1{\xi }_2)$ räknas som en dubbelsumma eller dubbelintegral över den simultana fördelningen.

Två specialfall

• Med sig själv: $\text{Cov}(\xi ,\xi )=E((\xi -\mu {)}^2)=V(\xi )$. Variansen är kovariansen av en variabel med sig själv.
• Oberoende: om ${\xi }_1$ och ${\xi }_2$ är oberoende är $E({\xi }_1{\xi }_2)={\mu }_1{\mu }_2$, så $\text{Cov}({\xi }_1,{\xi }_2)=0$.

---

3. Räkneregler

För konstanter $a$ och $b$:

$$\begin{array}{rl}\text{Cov}({\xi }_1,{\xi }_2)& =\text{Cov}({\xi }_2,{\xi }_1)\\ \text{Cov}(a{\xi }_1+b,{\xi }_2)& =a\text{Cov}({\xi }_1,{\xi }_2)\\ \text{Cov}({\xi }_1+{\xi }_2,{\xi }_3)& =\text{Cov}({\xi }_1,{\xi }_3)+\text{Cov}({\xi }_2,{\xi }_3)\end{array}$$

En additiv konstant flyttar variabeln men inte avvikelserna från väntevärdet, och därför försvinner $b$.

---

4. Variansen av en summa

Sats 1.17 (kompendiet).

$$\boxed{V({\xi }_1+{\xi }_2)=V({\xi }_1)+V({\xi }_2)+2\text{Cov}({\xi }_1,{\xi }_2)}$$

och, eftersom $V(-{\xi }_2)=V({\xi }_2)$ och $\text{Cov}({\xi }_1,-{\xi }_2)=-\text{Cov}({\xi }_1,{\xi }_2)$,

$$V({\xi }_1-{\xi }_2)=V({\xi }_1)+V({\xi }_2)-2\text{Cov}({\xi }_1,{\xi }_2)$$

Varför. Utveckla kvadraten i definitionen av variansen:

$$V({\xi }_1+{\xi }_2)=E\left(\right(({\xi }_1-{\mu }_1)+({\xi }_2-{\mu }_2){)}^2)=E(({\xi }_1-{\mu }_1{)}^2)+E(({\xi }_2-{\mu }_2{)}^2)+2E(({\xi }_1-{\mu }_1)({\xi }_2-{\mu }_2))$$

Är variablerna oberoende försvinner kovarianstermen och vi får tillbaka regeln att varianser adderas, se Linjära funktioner av stokastiska variabler.

Positivt beroende ökar spridningen i summan

Är kovariansen positiv drar variablerna åt samma håll och summan sprider mer än om de vore oberoende. För en differens är det tvärtom — det är därför stickprov i par ger snävare intervall: mätningarna i ett par är positivt korrelerade, och differensen tar bort den gemensamma variationen.

---

5. Skalberoende

Kovariansen har samma enhet som produkten av variablernas enheter. Mäter vi längd i meter i stället för centimeter blir kovariansen 100 gånger mindre, utan att sambandet har ändrats. För att få ett mått som inte beror på skalan dividerar vi med standardavvikelserna, och det ger korrelationskoefficienten:

$$\text{Cov}({\xi }_1,{\xi }_2)=\rho {\sigma }_1{\sigma }_2$$

Kovariansmatris

För flera variabler samlas varianser och kovarianser i en kovariansmatris $C$ med elementen $c_{ij}=\text{Cov}({\xi }_i,{\xi }_j)$. I två dimensioner är

$$C=\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)$$

Vanliga fel

• $\text{Cov}=0$ betyder inte oberoende. Oberoende ger kovariansen $0$, men inte omvänt. Med $\xi \in R(-1,1)$ och $\eta ={\xi }^2$ är $\text{Cov}(\xi ,\eta )=E({\xi }^3)-0\cdot E({\xi }^2)=0$, fast $\eta$ bestäms helt av $\xi$.
• Glömd faktor $2$. $V({\xi }_1+{\xi }_2)$ har termen $2\text{Cov}$, och för $a{\xi }_1+b{\xi }_2$ blir den $2ab\text{Cov}({\xi }_1,{\xi }_2)$.
• Tecknet vid differens. I $V({\xi }_1-{\xi }_2)$ byter bara kovarianstermen tecken — varianserna adderas fortfarande.
• $E({\xi }_1{\xi }_2)={\mu }_1{\mu }_2$ utan oberoende. Produktregeln gäller bara för oberoende variabler; annars räknas $E({\xi }_1{\xi }_2)$ som dubbelsumma eller dubbelintegral.

---

6. Lösta lektionsuppgifter

Övningarna märkta Kompendiet kommer ur kompendiet om flerdimensionella fördelningar. Det saknar facit, så de är lösta två gånger oberoende av varandra.

Lektion 18, övning 3 — Hur stor kan variansen av en summa bli?

Låt ${\xi }_1$ och ${\xi }_2$ ha varianserna $9$ respektive $25$. Om de är beroende kan variansen av ${\xi }_1+{\xi }_2$ vara antingen större eller mindre än $34$, men inte hur stor eller liten som helst. Hur stor kan den högst vara? Hur liten kan den minst vara?

Lösning

Kompendiets sats 1.17 med $\text{Cov}({\xi }_1,{\xi }_2)=\rho {\sigma }_1{\sigma }_2=3\cdot 5\cdot \rho =15\rho$:

$$V({\xi }_1+{\xi }_2)=9+25+2\cdot 15\rho =34+30\rho$$

Korrelationen ligger alltid i $-1\le \rho \le 1$, så

$$\boxed{4\le V({\xi }_1+{\xi }_2)\le 64}$$

Maxvärdet $64=(3+5{)}^2$ nås när $\rho =1$ och variablerna drar exakt åt samma håll; minvärdet $4=(5-3{)}^2$ när $\rho =-1$ och de delvis tar ut varandra.

Facit: $4\le V({\xi }_1+{\xi }_2)\le 64$.

Kompendiet, övning 1.15 — Samma fråga med varianserna 4 och 9

Låt ${\xi }_1$ och ${\xi }_2$ ha varianserna $4$ respektive $9$. Hur stor kan variansen av ${\xi }_1+{\xi }_2$ högst vara, och hur liten kan den minst vara?

Lösning

Nu är ${\sigma }_1=2$ och ${\sigma }_2=3$, så $\text{Cov}({\xi }_1,{\xi }_2)=6\rho$ och

$$V({\xi }_1+{\xi }_2)=4+9+12\rho =13+12\rho$$

Med $-1\le \rho \le 1$:

$$\boxed{1\le V({\xi }_1+{\xi }_2)\le 25}$$

Gränserna är $({\sigma }_2-{\sigma }_1{)}^2$ och $({\sigma }_1+{\sigma }_2{)}^2$, precis som i lektionsuppgiften ovan.

Ej kontrollerat mot facit — två oberoende lösningar stämmer överens.

---

Se även

• Korrelation
• Flerdimensionella fördelningar
• Varians och standardavvikelse
• Linjära funktioner av stokastiska variabler
• Tvådimensionell normalfördelning

Resurser

• Khan Academy: Covariance and the regression line
• Wikipedia: Kovarians

---

← Betingad fördelning och betingat väntevärde · S0008M · Korrelation →