Hoofdcomponenten

Hoofdcomponentenanalyse (PCA) is een multivariate statistische techniek die een groot aantal gecorreleerde variabelen reduceert tot een kleinere set ongecorreleerde variabelen, de hoofdcomponenten. Elke component bevat een deel van de totale variatie in de oorspronkelijke dataset, waarbij de eerste component de meeste variatie verklaart en elke volgende component steeds minder.

Laatst beoordeeld

Belangrijkste conclusie

Hoofdcomponentenanalyse (PCA) is een multivariate statistische techniek die een groot aantal gecorreleerde variabelen reduceert tot een kleinere set ongecorreleerde variabelen, de hoofdcomponenten.

Op deze pagina
  1. Wat zijn hoofdcomponenten?
  2. Wanneer gebruikt u hoofdcomponenten?
  3. Richtlijnen voor correct gebruik van hoofdcomponenten
  4. Alternatieven: wanneer u geen hoofdcomponenten gebruikt
  5. Voorbeeld van hoofdcomponenten
  6. Zo voert u een hoofdcomponentenanalyse uit

Wat zijn hoofdcomponenten?

Hoofdcomponentenanalyse (PCA) is een multivariate statistische techniek die een groot aantal gecorreleerde variabelen reduceert tot een kleinere set ongecorreleerde variabelen, de hoofdcomponenten. Elke component bevat een deel van de totale variatie in de oorspronkelijke dataset, waarbij de eerste component de meeste variatie verklaart en elke volgende component steeds minder.

PCA gooit geen gegevens weg ze transformeert de oorspronkelijke variabelen wiskundig naar een nieuw coördinatenstelsel waarin elke as aansluit op een richting van maximale variatie. Dit vereenvoudigt complexe, hoogdimensionale datasets en behoudt de meest betekenisvolle patronen erin.

Eenvoudige definities:Een techniek die veel gecorreleerde variabelen comprimeert tot enkele sleutelcomponenten die samen het grootste deel van de variatie bevatten, waardoor de complexiteit afneemt en de belangrijkste patronen behouden blijven.

Term

Betekenis

Hoofdcomponent (Principal Component)

Een nieuwe variabele die een gewogen combinatie is van oorspronkelijke variabelen en een specifieke richting van variatie vastlegt

Eigenwaarde (Eigenvalue)

Meet hoeveel van de totale variatie elke hoofdcomponent verklaart

Screeplot (Scree Plot)

Een grafiek van de eigenwaarden in aflopende volgorde, gebruikt om te bepalen hoeveel componenten worden behouden

Ladingen (Loadings)

De bijdrage (het gewicht) van elke oorspronkelijke variabele aan een hoofdcomponent

Scores

De coördinaten van elke waarneming in de nieuwe ruimte van hoofdcomponenten

Wanneer gebruikt u hoofdcomponenten?

  • Gebruik PCA wanneer u veel gecorreleerde variabelen hebt en die wilt reduceren tot een hanteerbaar aantal zonder belangrijke informatie te verliezen.
  • Gebruik PCA om te achterhalen welke variabelen de meeste variatie veroorzaken in een dataset.
  • Gebruik PCA om multivariate gegevens te visualiseren in twee of drie dimensies door de eerste twee of drie componenten uit te zetten.
  • Gebruik PCA als voorbewerkingsstap vóór regressie of clustering om multicollineariteit weg te nemen.
  • Gebruik PCA in kwaliteitstechniek, procesbewaking en analyse van sensorgegevens waar veel variabelen tegelijk worden gemeten.

Richtlijnen voor correct gebruik van hoofdcomponenten

  • Alle invoervariabelen moeten continu  zijn PCA is niet geschikt voor categorische variabelen.
  • Standaardiseer variabelen (gemiddelde = 0, SD = 1) als ze op verschillende schalen liggen anders overheersen variabelen met een groter numeriek bereik de componenten.
  • Gebruik de screeplot en eigenwaarden om te bepalen hoeveel componenten u behoudt een gangbare regel is componenten met een eigenwaarde groter dan 1 te behouden.
  • Interpreteer componenten met behulp van ladingen  hoge ladingen geven aan welke oorspronkelijke variabelen het sterkst met elke component samenhangen.
  • PCA identificeert patronen en structuur maar verklaart geen oorzaak en gevolg vakkennis is essentieel om de betekenis van componenten te interpreteren.
  • Streef naar een steekproefomvang van ten minste 5 tot 10 keer het aantal variabelen voor stabiele componentenschattingen.

Alternatieven: wanneer u geen hoofdcomponenten gebruikt

  • Als het doel is om een specifieke responsvariabele te voorspellen, gebruik dan Partial Least Squares (PLS) of regressieanalyse in plaats daarvan PCA gebruikt geen responsvariabele.
  • Als variabelen zeer lage onderlinge correlatieshebben, geeft PCA geen zinvolle dimensiereductie werk dan rechtstreeks met de oorspronkelijke variabelen.

Voorbeeld van hoofdcomponenten

Een bank vraagt van leningaanvragers acht gegevens: inkomen, opleidingsniveau, leeftijd, woonduur op het huidige adres, duur van het dienstverband bij de huidige werkgever, spaargeld, schulden en aantal creditcards. Een bankbeheerder wil deze gegevens analyseren om te bepalen hoe ze het best kunnen worden gegroepeerd en gerapporteerd. De beheerder verzamelt deze gegevens voor 30 leningaanvragers. De volgende stappen:

  1. De benodigde gegevens verzameld.
Principal Components — figure 1
  1. Analyseer de gegevens nu in Zometric Statistical Software op https://statsai.zometric.com/.
  2.  Om hoofdcomponenten te vinden, kiest u Statistical module> Multivariate > Principal Components.
  3.  Voer in de tool de gegevens en de overige invoer als volgt in:
Principal Components — figure 2

5. Na gebruik van de bovengenoemde tool wordt de uitvoer als volgt weergegeven:

Principal Components — figure 3Principal Components — figure 4Principal Components — figure 5Principal Components — figure 6Principal Components — figure 7

Zo voert u een hoofdcomponentenanalyse uit

De handleiding is als volgt:

  1. Meld u aan bij Zometric Statistical Software op https://statsai.zometric.com/
  2. Kies op de startpagina Statistical Tool> Multivariate >Principal Components.
  3. Werk vervolgens de gegevens handmatig bij, of kopieer (Ctrl+C) de gegevens volledig uit een Excel-blad en plak (Ctrl+V) ze hier.
  4. Vul vervolgens de vereiste opties in.
  5. Klik ten slotte onderaan de pagina op Calculate en u krijgt de gewenste resultaten.

Op het dashboard van Principal Components is het venster in twee delen verdeeld.

Principal Components — figure 8

Links bevindt zich het Data Pane. In het Data Pane vormt elke rij één subgroep. Gegevens kunnen handmatig worden ingevoerd, of u kunt de gegevens volledig kopiëren (Ctrl+C) uit een Excel-blad en hier plakken (Ctrl+V).

Load example: Er worden voorbeeldgegevens geladen.

Load File: Hiermee laadt u Excel-gegevens rechtstreeks.

Rechts staan de volgende opties:

  • Variables: Selecteer de kolommen met de variabelen die u in de analyse wilt opnemen. Gebruik Ctrl of Command + klik om meerdere kolommen te selecteren. Elke geselecteerde kolom moet een continue numerieke variabele  zijn zoals inkomen, leeftijd, schulden of spaargeld. Hoe sterker deze variabelen onderling gecorreleerd zijn, hoe effectiever PCA ze tot zinvolle componenten reduceert.
  • Type of Matrix:  Bepaalt welke wiskundige basis wordt gebruikt om de hoofdcomponenten te berekenen. Doorgaans zijn twee opties beschikbaar:
    • Correlation Matrix — standaardiseert alle variabelen naar dezelfde schaal (gemiddelde = 0, standaardafwijking = 1) voordat de componenten worden berekend. Dit is de aanbevolen standaardkeuze wanneer uw variabelen in verschillende eenheden of op sterk verschillende numerieke schalen zijn gemeten bijvoorbeeld inkomen in duizenden en leeftijd in jaren. Zonder standaardisatie zouden variabelen met een groter bereik de componenten overheersen, louter door hun schaal en niet door hun werkelijke belang.
    • Covariance Matrix — gebruikt de ruwe varianties en covarianties van de oorspronkelijke variabelen zonder te standaardiseren. Alleen geschikt wanneer alle variabelen al op dezelfde schaal en in dezelfde eenheid  staan anders overweldigen variabelen met een grotere schaal de resultaten.
  • Mahalanobis Distances: Wanneer ingeschakeld, berekent dit de Mahalanobis-afstand voor elke waarneming een statistische maat voor hoe ver elk datapunt van het centrum van de multivariate verdeling ligt, rekening houdend met de correlaties tussen variabelen. In tegenstelling tot gewone afstandsmaten corrigeert de Mahalanobis-afstand voor de vorm en spreiding van de gegevenswolk. Ze wordt vooral gebruikt om multivariate uitschieters te herkennen  waarnemingen die ongewoon lijken wanneer alle variabelen samen worden bekeken, ook al zien ze er normaal uit wanneer ze afzonderlijk worden bekeken.
  • Scree Plot: Genereert een grafiek die de eigenwaarde van elke hoofdcomponent in aflopende volgordeuitzet. De screeplot is het belangrijkste hulpmiddel om te bepalen hoeveel componenten u behoudt. U zoekt het punt waar de lijn scherp buigt en afvlakt het ellebooggewricht genoemd en behoudt de componenten boven dat punt. Een gangbare regel is componenten met een eigenwaarde groter dan 1 te behouden, omdat die meer variantie verklaren dan één enkele oorspronkelijke variabele.
  • Outlier Plot: Toont een spreidingsdiagram dat helpt ongewone waarnemingen in de ruimte van hoofdcomponenten visueel te herkennen. Punten die ver van de hoofdcluster van waarnemingen liggen qua componentscores of Mahalanobis-afstanden worden gemarkeerd als mogelijke multivariate uitschieters. Het herkennen en onderzoeken van deze uitschieters is belangrijk voordat u conclusies uit de analyse trekt, omdat ze de componenten kunnen vertekenen.
  • Loading Plot: Genereert een visuele weergave van de ladingen van elke oorspronkelijke variabele op de hoofdcomponenten. Elke variabele wordt als vector weergegeven, en de richting en lengte van de vector geven aan hoe sterk en in welke richting die variabele aan elke component bijdraagt. Variabelen met lange vectoren in dezelfde richting zijn positief gecorreleerd; die in tegengestelde richtingen zijn negatief gecorreleerd. De ladingenplot is essentieel om te interpreteren wat elke hoofdcomponent feitelijk vertegenwoordigt in termen van de oorspronkelijke variabelen.
  • Download as Excel: Exporteert de volledige PCA-resultaten inclusief componentscores, ladingen, eigenwaarden en verklaarde variantie naar een Excel-bestand.

Veelgestelde vragen

Wat is hoofdcomponentenanalyse?

Hoofdcomponentenanalyse (PCA) is een multivariate techniek die een groot aantal gecorreleerde variabelen reduceert tot een kleinere set ongecorreleerde variabelen, de hoofdcomponenten. De eerste component verklaart de meeste variatie en elke volgende steeds minder. PCA gooit geen gegevens weg; ze transformeert de variabelen naar een nieuw coördinatenstelsel dat aansluit op de richtingen van maximale variatie.

Hoeveel hoofdcomponenten behoudt u?

Gebruik de screeplot en de eigenwaarden. De screeplot toont de eigenwaarde van elke component in aflopende volgorde; zoek de elleboog, waar de lijn scherp buigt en afvlakt, en behoud de componenten erboven. Een gangbare regel is componenten met een eigenwaarde groter dan 1 te behouden, omdat die meer variantie verklaren dan één enkele oorspronkelijke variabele.

Gebruikt u voor PCA de correlatiematrix of de covariantiematrix?

Gebruik de correlatiematrix, de aanbevolen standaardkeuze, wanneer variabelen in verschillende eenheden of op sterk verschillende schalen zijn gemeten, omdat ze elke variabele standaardiseert naar gemiddelde 0 en standaardafwijking 1. Zonder dit overheersen variabelen met een groter bereik de componenten. De covariantiematrix is alleen geschikt wanneer alle variabelen al op dezelfde schaal en in dezelfde eenheid staan.

Wanneer gebruikt u PCA niet?

PCA gebruikt geen responsvariabele, dus als het doel is een specifieke respons te voorspellen, gebruikt u in plaats daarvan Partial Least Squares of regressieanalyse. Als de variabelen zeer lage onderlinge correlaties hebben, geeft PCA geen zinvolle dimensiereductie. Alle invoervariabelen moeten continu zijn, en een steekproef van ten minste 5 tot 10 keer het aantal variabelen wordt aanbevolen.