Partial Least Squares-regressie (PLS)

Partial Least Squares (PLS)-regressie is een statistische tool om de relatie te modelleren tussen meerdere voorspellende variabelen en een of meer responsvariabelen, vooral wanneer voorspellers sterk met elkaar gecorreleerd zijn (multicollineariteit) of wanneer het aantal voorspellers groot is ten opzichte van het aantal waarnemingen. Zij herleidt de voorspellers tot een kleinere set onderliggende componenten die zowel de voorspellers als de respons het best verklaren.

Laatst beoordeeld

Belangrijkste conclusie

Partial Least Squares (PLS)-regressie is een statistische tool om de relatie te modelleren tussen meerdere voorspellende variabelen en een of meer responsvariabelen, vooral wanneer voorspellers sterk gecorreleerd zijn.

Op deze pagina
  1. Wat is Partial Least Squares-regressie?
  2. Wanneer gebruikt u Partial Least Squares-regressie?
  3. Richtlijnen voor correct gebruik van Partial Least Squares-regressie
  4. Alternatieven: wanneer u Partial Least Squares-regressie niet gebruikt
  5. Voorbeeld van Partial Least Squares-regressie
  6. Zo voert u Partial Least Squares-regressie uit

Wat is Partial Least Squares-regressie?

Partial Least Squares (PLS)-regressie is een statistische tool om de relatie te modelleren tussen meerdere voorspellende variabelen en een of meer responsvariabelen  vooral wanneer voorspellers sterk met elkaar gecorreleerd zijn (multicollineariteit) of wanneer het aantal voorspellers groot is ten opzichte van het aantal waarnemingen. Zij herleidt de voorspellers tot een kleinere set onderliggende componenten die zowel de voorspellers als de respons het best verklaren.

Wanneer gebruikt u Partial Least Squares-regressie?

Voorspellende variabelen

  • Het meest geschikt wanneer u veel voorspellers hebt die sterk met elkaar gecorreleerd zijn
  • Voorspellers moeten continu zijn
  • Als er weinig voorspellers zijn die niet sterk gecorreleerd zijn, gebruik dan Fit Regression Model in plaats daarvan
  • Als er maar één voorspeller is, gebruik dan Fit Line Model in plaats daarvan

Responsvariabele

  • Kan een of meer continue responsvariabelen tegelijk aan
  • Als de respons categorisch is → gebruik het passende Logistic Regression -model

Richtlijnen voor correct gebruik van Partial Least Squares-regressie

  • Gebruik PLS wanneer voorspellers sterk gecorreleerd (multicollineair) zijn of wanneer het aantal voorspellers groot is ten opzichte van de steekproefomvang; standaardregressie wordt in deze omstandigheden instabiel.
  • Alle voorspellers en responsvariabelen moeten continuzijn; categorische variabelen zijn niet geschikt voor deze methode.
  • Zorg dat de gegevens de doelpopulatie nauwkeurig weergeven; slechte gegevenskwaliteit levert onbetrouwbare componenten en voorspellingen op.
  • Verzamel voldoende waarnemingen — veel minder waarnemingen dan voorspellers laat standaardregressie falen, en dat is een van de belangrijkste situaties waarin PLS het meest waardevol is.
  • Kies het juiste aantal componenten zorgvuldig — te weinig componenten missen belangrijke variatie, terwijl te veel componenten de gegevens overfitten. Gebruik kruisvalidatie als leidraad voor deze beslissing.
  • Meet alle variabelen zo nauwkeurig mogelijk; PLS is gevoelig voor ruis wanneer het aantal componenten hoog is.
  • Valideer het model na het schatten met voorspelde R-kwadraat en kruisvalidatiestatistieken om te bevestigen dat het model goed generaliseert buiten de trainingsgegevens.

Alternatieven: wanneer u Partial Least Squares-regressie niet gebruikt

  • Als voorspellers weinig in aantal en niet sterk gecorreleerdzijn, gebruik dan Fit Regression Model in plaats daarvan voor eenvoudiger en beter interpreteerbare resultaten.
  • Als u slechts één continue voorspellerhebt, gebruik dan Fit Line Model in plaats daarvan.
  • Als de respons categorisch is met twee categorieën, gebruik dan Fit Binary Logistic Model in plaats daarvan.
  • Als de respons drie of meer geordende categorieënheeft, gebruik dan Ordinal Logistic Regression in plaats daarvan.
  • Als de respons drie of meer ongeordende categorieënheeft, gebruik dan Nominal Logistic Regression in plaats daarvan.
  • Als het doel is om meetequivalentie te toetsen tussen twee methoden, gebruik dan Orthogonal Regression in plaats daarvan.

Voorbeeld van Partial Least Squares-regressie

Een wijnproducent wil begrijpen hoe de chemische samenstelling van zijn Pinot Noir de sensorische beoordeling beïnvloedt. De dataset bestaat uit 37 monsters Pinot Noir, elk gekenmerkt door concentraties van 17 elementen (Cd, Mo, Mn, Ni, Cu, Al, Ba, Cr, Sr, Pb, B, Mg, Si, Na, Ca, P, K) en een aromascore die door een panel van beoordelaars is vastgesteld. Het doel is een voorspellend model voor de aromascore te ontwikkelen met de elementconcentraties. Daarnaast wil de producent alle elementconcentraties als voorspellers opnemen, samen met alle tweeweginteracties met cadmium (Cd). Gezien de relatief kleine steekproefomvang ten opzichte van het aantal voorspellers wordt Partial Least Squares (PLS)-regressie als modelleringsaanpak gekozen. Om dit te evalueren, voert de volgende stappen uit:

  1. De benodigde gegevens verzamelen.
Partial Least Square — figure 1
  1.  Analyseer de gegevens nu in Zometric Statistical Software op https://statsai.zometric.com/.
  2.  Kies om Partial Least Square te vinden Statistical module> Regression>Partial Least Square.
  3.  Voer in de tool de gegevens samen met de andere invoer als volgt in:
Partial Least Square — figure 2

5. Na gebruik van de bovengenoemde tool verschijnt de uitvoer als volgt:

Partial Least Square — figure 3Partial Least Square — figure 4Partial Least Square — figure 5

Zo voert u Partial Least Squares-regressie uit

De stappen zijn als volgt:

  1. Log in bij Zometric Statistical Software op https://statsai.zometric.com/
  2. Kies op de startpagina Statistical Tool>Regression >Partial Least Square .
  3. Klik op Partial Least Square om het dashboard te openen.
  4. Voer vervolgens de gegevens handmatig in, of kopieer (Ctrl+C) de gegevens volledig uit een Excel-blad en plak (Ctrl+V) ze hier.
  5. Vul de vereiste opties in die links worden getoond.
  6. Klik ten slotte onderaan de pagina op Calculate en u krijgt de gewenste resultaten.

Op het dashboard van Partial Least Square is het venster in twee delen verdeeld.

Partial Least Square — figure 6

Links staat het Data Pane. In het Data Pane vormt elke rij één subgroep. U kunt de gegevens handmatig invoeren, of ze volledig kopiëren (Ctrl+C) uit een Excel-blad en hier plakken (Ctrl+V).

Load example: Voorbeeldgegevens worden geladen.

Load File: Hiermee laadt u de Excel-gegevens rechtstreeks.

Rechts staan veel opties, als volgt:

  • Response: De uitkomstvariabele of -variabelen die u wilt voorspellen, moeten continuzijn. PLS is uniek doordat zij meerdere responsvariabelen tegelijk aankan, wat nuttig is wanneer meerdere uitkomsten samen met dezelfde set voorspellers moeten worden gemodelleerd.
  • Model: Bepaalt welke voorspellers en interactietermen in de analyse worden opgenomen. Standaard wordt een hoofdeffectenmodel opgebouwd met alle geselecteerde voorspellers. U kunt interactietermen toevoegen (bijv. A*B) als twee voorspellers vermoedelijk gezamenlijk de respons beïnvloeden. Het model passend eenvoudig houden voorkomt overfitting, vooral wanneer het aantal voorspellers groot is.
  • Confidence Interval:  Een bereik waarbinnen de ware waarde van een voorspelde respons of coëfficiënt waarschijnlijk valt. De standaardwaarde is 95%, wat betekent dat u er 95% zeker van bent dat de ware waarde binnen het getoonde bereik ligt. Deze standaardwaarde wordt gebruikt omdat zij voldoet aan de breed aanvaarde norm voor statistische betrouwbaarheid in de meeste sectoren en onderzoeksgebieden.
  • Maximum Number of Components (Optional):  Bepaalt hoeveel PLS-componenten het model uit de voorspellers haalt. Elke component legt een deel van de variatie in zowel voorspellers als respons vast. Te laag instellen mist belangrijke patronen; te hoog instellen riskeert overfitting van de gegevens. Als u het leeg laat, bepaalt de analyse het optimale aantal automatisch met kruisvalidatie.
  • Title: Een eigen label dat u aan de analyse-uitvoer kunt geven. Dit is handig wanneer u meerdere analyses op dezelfde dataset uitvoert, zodat u verschillende modelruns in uw resultaten duidelijk kunt onderscheiden.
  • Show X Scores: Toont een plot van de componentscores voor de voorspellende variabelen. Zo ziet u visueel patronen, groeperingen of uitschieters in de voorspellergegevens nadat de PLS-componenten zijn gehaald — handig om de structuur in uw invoervariabelen te begrijpen.
  • Show Y Scores: Toont een plot van de componentscores voor de responsvariabelen. Zo beoordeelt u hoe goed de PLS-componenten de variatie in de respons vastleggen en of er ongewone waarnemingen of groeperingen zijn aan de uitvoerkant van het model.

Veelgestelde vragen

Wat is Partial Least Squares-regressie?

Partial Least Squares (PLS)-regressie modelleert de relatie tussen meerdere continue voorspellende variabelen en een of meer continue responsvariabelen. Zij is bedoeld voor situaties waarin voorspellers sterk gecorreleerd zijn of waarin er veel voorspellers zijn ten opzichte van het aantal waarnemingen, en herleidt de voorspellers tot een kleinere set componenten die zowel de voorspellers als de respons het best verklaren.

Wanneer gebruikt u PLS in plaats van gewone meervoudige regressie?

Gebruik PLS wanneer voorspellers sterk gecorreleerd (multicollineair) zijn of wanneer het aantal voorspellers groot is ten opzichte van de steekproefomvang, omdat standaardregressie in deze omstandigheden instabiel wordt. Als er weinig voorspellers zijn die niet sterk gecorreleerd zijn, geeft Fit Regression Model eenvoudiger en beter interpreteerbare resultaten, en met slechts één continue voorspeller is Fit Line Model de betere keuze.

Hoeveel componenten moet een PLS-model gebruiken?

Te weinig PLS-componenten missen belangrijke variatie, terwijl te veel componenten de gegevens overfitten, dus kruisvalidatie moet de keuze leiden. Als het maximumaantal componenten leeg blijft, bepaalt de analyse het optimale aantal automatisch met kruisvalidatie. Controleer na het schatten de voorspelde R-kwadraat en de kruisvalidatiestatistieken om te bevestigen dat het model generaliseert buiten de trainingsgegevens.

Kan Partial Least Squares categorische variabelen gebruiken?

Nee. Alle voorspellers en responsvariabelen in PLS moeten continu zijn. Als de respons categorisch is, gebruik dan een logistisch model: Fit Binary Logistic Model voor twee categorieën, Ordinal Logistic Regression voor drie of meer geordende categorieën en Nominal Logistic Regression voor drie of meer ongeordende categorieën.