Autoregressiva Glidande Medelvärde Model Varians

ARMA Unplugged Detta är den första posten i vår serie Unplugged tutorials, där vi dyker in i detaljerna för var och en av de tidsseriemodeller som du redan är bekant med, markerar de underliggande antagandena och kör hem intuitionerna bakom dem. I den här frågan hanterar vi ARMA-modellen en hörnsten i tidsseriemodellering. Till skillnad från tidigare analysproblem börjar vi här med ARMA-processdefinitionen, ange ingångar, utgångar, parametrar, stabilitetsbegränsningar, antaganden och slutligen dra några riktlinjer för modelleringsprocessen. Bakgrund Enligt definitionen är det automatiska regressiva glidande genomsnittet (ARMA) en stationär stokastisk process som består av summor av autoregressiva Excel och glidande medelkomponenter. Alternativt, i en enkel formulering: Förutsättningar Låt oss se närmare på formuleringen. ARMA-processen är helt enkelt en viktad summa av de tidigare utmatningsobservationerna och chockerna, med få viktiga antaganden: Vad betyder dessa antaganden En stokastisk process är en motsvarighet till en deterministisk process som beskriver utvecklingen av en slumpmässig variabel över tiden. I vårt fall är den slumpmässiga variabeln ARMA-processen fångar bara seriell korrelation (dvs automatisk korrelation) mellan observationerna. I enkla ord summerar ARMA-processen upp värdena för tidigare observationer, inte deras kvadrerade värden eller deras logaritmer etc. Högre orderberoende innebär att en annan process (t. ex. ARCHGARCH, icke-linjära modeller etc.) är mandat. Det finns många exempel på en stokastisk process där tidigare värden påverkar nuvarande. Till exempel, i ett försäljningskontor som kontinuerligt mottar RFQ, realiseras några som försäljningsvinster, några som försäljningsförluster, och några släpptes över till nästa månad. Som en följd av detta kommer några av de försäljningsgevunna fallen att förekomma som en RFQ eller en återkommande försäljning från tidigare månader. Vad är chocker, innovationer eller felvillkor Det här är svår fråga, och svaret är inte mindre förvirrande. Fortfarande, låt oss prova: I enkla ord är felet i en given modell en catch-all-hink för alla variationer som modellen inte förklarar. Fortfarande förlorade Kan vi använda ett exempel. För en aktiekursprocess finns det kanske hundratals faktorer som driver uppdateringen av prisnivån, inklusive: Utdelningar och delårsmeddelanden Kvartalsinkomstrapporter Fusioner och förvärv (MampA) - aktiviteter Juridiska händelser, t. ex. hotet om klagomål. Andra En modell, genom design, är en förenkling av en komplex verklighet, så vad som helst vi lämnar utanför modelleras automatiskt i felperioden. ARMA-processen förutsätter att den kollektiva effekten av alla dessa faktorer verkar mer eller mindre som gaussiskt ljud. Varför bryr vi oss om tidigare chocker Till skillnad från en regressionsmodell kan förekomsten av en stimulans (t. ex. chock) ha en effekt på nuvarande nivå, och eventuellt framtida nivåer. En företagshändelse (t. ex. MampA-aktivitet) påverkar exempelvis börskursens aktiekurs, men förändringen kan ta lite tid för att få full effekt, eftersom marknadsaktörer absorberar tillgänglig information och reagerar i enlighet därmed. Detta ber om ursprunget: de tidigare värdena för utgången har redan chocker förbi informationen JA, chockhistoriken redovisas redan i tidigare utdata. En ARMA-modell kan enbart representeras som en ren auto-regressiv (AR) - modell, men lagringskravet för ett sådant system i oändligt. Detta är den enda anledningen att inkludera MA-komponenten: att spara på lagring och förenkla formuleringen. Återigen måste ARMA-processen vara stationär för den marginella (ovillkorliga) variansen att existera. Obs! I min diskussion ovan gör jag inte skillnad mellan endast frånvaro av enhetsrot i den karakteristiska ekvationen och stationäriteten i processen. De är relaterade, men frånvaron av enhetsrots är inte en garanti för stationäritet. Enhetsroten måste dock ligga inuti enhetscirkeln för att vara korrekt. Slutsats Låt oss ta reda på vad vi hittills gjort. Först undersökte vi en stationär ARMA-process, tillsammans med dess formulering, ingångar, antaganden och lagringskrav. Därefter visade vi att en ARMA-process inkorporerar sina utgångsvärden (autokorrelation) och chocker som det upplevde tidigare i den aktuella utgången. Slutligen visade vi att den stationära ARMA-processen producerar en tidsserie med en stabil långsiktig medelvärde och varians. I vår dataanalys, innan vi föreslår en ARMA-modell, borde vi verifiera stationaritetsantagandet och de slutgiltiga minneskraven. Om dataserien uppvisar en deterministisk trend måste vi ta bort (de-trend) det först och använd sedan residualerna för ARMA. Om datasetet uppvisar en stokastisk trend (t ex slumpmässig promenad) eller säsonglighet, måste vi underhålla ARIMASARIMA. Slutligen kan korrelogrammet (dvs ACFPACF) användas för att mäta minneskravet för modellen som vi borde förvänta att antingen ACF eller PACF försvinner snabbt efter några lags. Om inte kan detta vara ett tecken på icke-stationäritet eller ett långsiktigt mönster (t. ex. ARFIMA). En RIMA står för autoregressiva integrerade rörliga genomsnittsmodeller. Univariate (single vector) ARIMA är en prognosteknik som projekterar framtida värden för en serie baserad helt på egen tröghet. Dess huvudsakliga tillämpning är inom området för prognoser på kort sikt som kräver minst 40 historiska datapunkter. Det fungerar bäst när dina data uppvisar ett stabilt eller konsekvent mönster över tiden med ett minimum av outliers. Ibland kallas Box-Jenkins (efter de ursprungliga författarna), är ARIMA vanligtvis överlägsen exponentiell utjämningsteknik när data är rimligt långa och korrelationen mellan tidigare observationer är stabil. Om data är korta eller mycket flyktiga, kan en viss utjämningsmetod fungera bättre. Om du inte har minst 38 datapunkter, bör du överväga någon annan metod än ARIMA. Det första steget i att tillämpa ARIMA-metodiken är att kontrollera stationäriteten. Stationäritet innebär att serien förblir på en ganska konstant nivå över tiden. Om det finns en trend, som i de flesta ekonomiska eller affärsapplikationer, är dina data INTE stationära. Uppgifterna bör också visa en konstant varians i sina fluktuationer över tiden. Detta syns lätt med en serie som är väldigt säsongsbetonad och växer i snabbare takt. I så fall blir uppgångarna och nedgångarna i säsongsalden mer dramatiska över tiden. Utan att dessa stationaritetsförhållanden är uppfyllda kan många av beräkningarna associerade med processen inte beräknas. Om en grafisk del av data indikerar icke-stationaritet, bör du skilja på serien. Differentiering är ett utmärkt sätt att omvandla en icke-stationär serie till en stationär. Detta görs genom att subtrahera observationen under den aktuella perioden från föregående. Om denna omvandling görs bara en gång till en serie, säger du att uppgifterna först har skiljats. Denna process eliminerar i huvudsak trenden om din serie växer med en ganska konstant takt. Om den växer i ökande takt kan du tillämpa samma procedur och skillnad data igen. Dina uppgifter skulle då bli annorlunda. Autokorrelationer är numeriska värden som indikerar hur en dataserie är relaterad till sig själv över tiden. Närmare bestämt mäter det hur starkt datavärdena vid ett visst antal perioder från varandra är korrelerade med varandra över tiden. Antalet perioder ibland kallas vanligtvis lagret. Till exempel mäter en autokorrelation vid lag 1 hur värdena 1 period från varandra korreleras med varandra i serien. En autokorrelation vid lag 2 mäter hur data två perioder från varandra korreleras genom hela serien. Autokorrelationer kan sträcka sig från 1 till -1. Ett värde nära 1 indikerar en hög positiv korrelation medan ett värde nära -1 innebär en hög negativ korrelation. Dessa åtgärder utvärderas oftast genom grafiska tomter som kallas korrelagram. Ett korrelagram plottar autokorrelationsvärdena för en given serie i olika lags. Detta kallas autokorrelationsfunktionen och är mycket viktigt i ARIMA-metoden. ARIMA-metoden försöker beskriva rörelserna i en stationär tidsserie som en funktion av vad som kallas autoregressiva och rörliga genomsnittsparametrar. Dessa kallas AR parametrar (autoregessiva) och MA parametrar (glidande medelvärden). En AR-modell med endast 1 parameter kan skrivas som. X (t) A (1) X (t-1) E (t) där X (t) tidsserier som undersöks A (1) den autoregressiva parametern av ordning 1 X (t-1) (T) modellens felperiod Detta betyder helt enkelt att vilket givet värde X (t) som kan förklaras med någon funktion av dess tidigare värde, X (t-1), plus något oförklarligt slumpmässigt fel, E (t). Om det uppskattade värdet av A (1) var .30, skulle nuvärdet av serien vara relaterat till 30 av dess värde 1 period sedan. Naturligtvis kan serien vara relaterad till mer än bara ett tidigare värde. Exempelvis X (t) A (1) X (t-1) A (2) X (t-2) E (t) Detta indikerar att serievärdet är en kombination av de två omedelbart föregående värdena, X (t-1) och X (t-2), plus något slumpmässigt fel E (t). Vår modell är nu en autoregressiv modell av ordning 2. Flytta genomsnittliga modeller: En andra typ av Box-Jenkins-modell kallas en rörlig genomsnittsmodell. Även om dessa modeller ser mycket ut som AR-modellen är konceptet bakom dem ganska annorlunda. Flytta genomsnittsparametrar relaterar vad som händer i period t endast till de slumpmässiga fel som inträffade under tidigare tidsperioder, dvs E (t-1), E (t-2) osv. Snarare än till X (t-1), X T-2), (Xt-3) som i de autoregressiva tillvägagångssätten. En glidande medelmodell med en MA-term kan skrivas enligt följande. X (t) - B (1) E (t-1) E (t) Termen B (1) kallas en MA i ordning 1. Negativt tecken framför parametern används endast för konventionen och skrivs vanligen ut automatiskt efter de flesta datorprogram. Ovanstående modell säger helt enkelt att ett givet värde av X (t) är direkt relaterat till det slumpmässiga felet i föregående period, E (t-1) och till den aktuella felperioden E (t). Som i fråga om autregressiva modeller kan de rörliga genomsnittsmodellerna utvidgas till högre orderstrukturer som täcker olika kombinationer och glidande medellängder. ARIMA-metoden möjliggör också att modeller ska byggas som innehåller både autoregressiva och rörliga genomsnittsparametrar tillsammans. Dessa modeller kallas ofta blandade modeller. Även om detta ger ett mer komplicerat prognosverktyg kan strukturen verkligen simulera serien bättre och ge en mer exakt prognos. Rena modeller innebär att strukturen bara består av AR eller MA parametrar - inte båda. Modellerna som utvecklas genom detta tillvägagångssätt kallas vanligen ARIMA-modeller eftersom de använder en kombination av autoregressiv (AR), integration (I) - hänvisar till omvänd process för differentiering för att producera prognosen och rörliga genomsnittliga (MA) - operationer. En ARIMA-modell anges vanligtvis som ARIMA (p, d, q). Detta representerar ordningen för de autogegressiva komponenterna (p), antalet differentieringsoperatörer (d) och den högsta ordningen för den glidande medelfristen. Till exempel betyder ARIMA (2,1,1) att du har en andra ordning med automatisk reglering med en första ordning som rör en genomsnittlig komponent vars serie har avvikits en gång för att inducera stationäritet. Plocka rätt specifikation: Det största problemet i klassiska Box-Jenkins försöker bestämma vilken ARIMA-specifikation som ska användas - i. e. Hur många parametrar för AR och MA som ska ingå. Det är så mycket av Box-Jenkings 1976 som ägnades åt identifieringsprocessen. Det berodde på grafisk och numerisk utvärdering av provautokorrelationen och partiella autokorrelationsfunktioner. Tja, för dina grundläggande modeller är uppgiften inte för svår. Var och en har autokorrelationsfunktioner som ser på ett visst sätt. Men när du går upp i komplexitet är mönstren inte så lätt detekterade. För att göra saker svårare representerar dina data bara ett urval av den underliggande processen. Det betyder att provtagningsfel (outliers, mätfel etc.) kan snedvrida den teoretiska identifieringsprocessen. Det är därför som traditionell ARIMA-modellering är en konst snarare än en science.2.1 Moving Average Models (MA-modeller) Tidsseriemodeller som kallas ARIMA-modeller kan innefatta autoregressiva termer och eller rörliga genomsnittsvillkor. I vecka 1 lärde vi oss en autoregressiv term i en tidsseriemodell för variabeln x t är ett fördröjt värde av x t. Till exempel är en lag 1-autoregressiv term x t-1 (multiplicerad med en koefficient). Denna lektion definierar glidande medelvärden. En glidande medelfrist i en tidsseriemodell är ett tidigare fel (multiplicerat med en koefficient). Låt (wt overset N (0, sigma2w)), vilket betyder att w t är identiskt oberoende fördelade, var och en med en normal fördelning med medelvärde 0 och samma varians. Den första ordningens rörliga genomsnittsmodell, betecknad med MA (1) är (xt mu wt theta1w) Den andra ordens rörliga genomsnittsmodellen, betecknad med MA (2) är (xt mu wt theta1w theta2w) , betecknad med MA (q) är (xt mu wt theta1w theta2w prickar thetaqw) Anm. Många läroböcker och programvara definierar modellen med negativa tecken före villkoren. Detta ändrar inte de allmänna teoretiska egenskaperna hos modellen, även om den ändrar de algebraiska tecknen på uppskattade koefficientvärden och (unsquared) termer i formler för ACF och variationer. Du måste kontrollera din programvara för att kontrollera om negativa eller positiva tecken har använts för att korrekt beräkna den beräknade modellen. R använder positiva tecken i sin underliggande modell, som vi gör här. Teoretiska egenskaper hos en tidsserie med en MA (1) modell Observera att det enda nonzero-värdet i teoretisk ACF är för lag 1. Alla andra autokorrelationer är 0. Således är ett prov ACF med en signifikant autokorrelation endast vid lag 1 en indikator på en möjlig MA (1) modell. För intresserade studenter är bevis på dessa egenskaper en bilaga till denna handout. Exempel 1 Antag att en MA (1) modell är x t10 w t, 7 w t-1. Var (överskridande N (0,1)). Således är koefficienten 1 0,7. Den teoretiska ACF ges av En plot av denna ACF följer. Den visade ploten är den teoretiska ACF för en MA (1) med 1 0,7. I praktiken ger ett prov vanligen vanligtvis ett så tydligt mönster. Med hjälp av R simulerade vi n 100 provvärden med hjälp av modellen x t 10 w t .7 w t-1 där vikt N (0,1). För denna simulering följer en tidsserieplot av provdata. Vi kan inte berätta mycket från denna plot. Provet ACF för den simulerade data följer. Vi ser en spik vid lag 1 följt av allmänt icke-signifikanta värden för lags över 1. Observera att provet ACF inte matchar det teoretiska mönstret för den underliggande MA (1), vilket är att alla autokorrelationer för lags över 1 kommer att vara 0 . Ett annat prov skulle ha en något annorlunda prov ACF som visas nedan, men skulle troligen ha samma breda funktioner. Terapeutiska egenskaper hos en tids serie med en MA (2) modell För MA (2) modellen är teoretiska egenskaper följande: Observera att de enda nonzero-värdena i teoretisk ACF är för lags 1 och 2. Autokorrelationer för högre lags är 0 . En ACF med signifikanta autokorrelationer vid lags 1 och 2, men icke-signifikanta autokorrelationer för högre lags indikerar en möjlig MA (2) modell. Iid N (0,1). Koefficienterna är 1 0,5 och 2 0,3. Eftersom det här är en MA (2), kommer den teoretiska ACF endast att ha nonzero-värden endast vid lags 1 och 2. Värdena för de två icke-oberoende autokorrelationerna är A-plot av den teoretiska ACF följer. Såsom nästan alltid är fallet kommer provdata inte att fungera så perfekt som teori. Vi simulerade n 150 provvärden för modellen x t 10 w t .5 w t-1 .3 w t-2. Var vet N (0,1). Tidsserierna av data följer. Som med tidsserien för MA (1) provdata kan du inte berätta mycket för det. Provet ACF för den simulerade data följer. Mönstret är typiskt för situationer där en MA (2) modell kan vara användbar. Det finns två statistiskt signifikanta spikar vid lags 1 och 2 följt av icke-signifikanta värden för andra lags. Observera att provet ACF på grund av provtagningsfel inte exakt matchade det teoretiska mönstret. ACF för General MA (q) Modeller En egenskap hos MA (q) modeller är generellt att det finns icke-oberoende autokorrelationer för de första q-lagsna och autokorrelationerna 0 för alla lags gt q. Icke-unikhet av samband mellan värden på 1 och (rho1) i MA (1) Modell. I MA (1) - modellen, för något värde av 1. Den ömsesidiga 1 1 ger samma värde. Använd exempelvis 0,5 för 1. Och använd sedan 1 (0,5) 2 för 1. Du får (rho1) 0,4 i båda fallen. För att tillfredsställa en teoretisk restriktion kallad invertibility. Vi begränsar MA (1) - modellerna till att ha värden med absolutvärdet mindre än 1. I exemplet just givet är 1 0,5 ett tillåtet parametervärde, medan 1 10,5 2 inte kommer att. Inverterbarhet av MA-modeller En MA-modell sägs vara omvändbar om den är algebraiskt ekvivalent med en konvergerande oändlig ordning AR-modell. Med konvergeringen menar vi att AR-koefficienterna minskar till 0 när vi flyttar tillbaka i tiden. Omvändbarhet är en begränsning programmerad i tidsserierprogramvara som används för att uppskatta koefficienterna för modeller med MA-termer. Det är inte något vi söker efter i dataanalysen. Ytterligare information om invertibilitetsbegränsningen för MA (1) - modeller ges i bilagan. Avancerad teorinotation. För en MA (q) modell med en specificerad ACF finns det endast en inverterbar modell. Det nödvändiga villkoret för invertibilitet är att koefficienterna har värden så att ekvationen 1- 1 y-. - q y q 0 har lösningar för y som faller utanför enhetens cirkel. R-kod för exemplen I exempel 1 ritade vi den teoretiska ACF av modellen x t10 wt. 7w t-1. och sedan simulerade n 150 värden från denna modell och plottade provtidsserierna och provet ACF för de simulerade data. R-kommandona användes för att plotta den teoretiska ACF: acfma1ARMAacf (mac (0.7), lag. max10) 10 satser av ACF för MA (1) med theta1 0,7 lags0: 10 skapar en variabel som heter lags som sträcker sig från 0 till 10. plot (lags, acfma1, xlimc (1,10), ylabr, typh, huvud ACF för MA (1) med theta1 0,7) abline (h0) adderar en horisontell axel till plottet Det första kommandot bestämmer ACF och lagrar det i ett objekt Namnet acfma1 (vårt val av namn). Plot-kommandot (3: e kommandot) tomter jämförs med ACF-värdena för lags 1 till 10. ylab-parametern markerar y-axeln och huvudparametern lägger en titel på plotten. För att se de numeriska värdena för ACF använder du bara kommandot acfma1. Simuleringen och tomterna gjordes med följande kommandon. xcarima. sim (n150, lista (mac (0.7))) Simulerar n 150 värden från MA (1) xxc10 lägger till 10 för att göra medelvärdet 10. Simulering standardvärden betyder 0. plot (x, typeb, mainSimulated MA (1) data) acf (x, xlimc (1,10), mainACF för simulerad provdata) I exempel 2 ritade vi teoretisk ACF av modellen xt 10 wt5 w t-1, 3 w t-2. och sedan simulerade n 150 värden från denna modell och plottade provtidsserierna och provet ACF för de simulerade data. De R-kommandon som användes var acfma2ARMAacf (mac (0,5,0,3), lag. max10) acfma2 lags0: 10 plot (lags, acfma2, xlimc (1,10), ylabr, typh, huvud ACF för MA (2) med theta1 0,5, theta20.3) abline (h0) xcarima. sim (n150, lista (mac (0,5, 0,3)) xxc10 plot (x, typeb, huvudsimulerad MA (2) serie) acf (x, xlimc (1,10) mainACF för simulerade MA (2) data) Bilaga: Bevis för egenskaper hos MA (1) För intresserade studenter, här är bevis för teoretiska egenskaper för MA (1) modellen. Varians: (text (xt) text (mu wt theta1 w) 0 text (wt) text (theta1w) sigma2w theta21sigma2w (1theta21) sigma2w) När h 1, föregående uttryck 1 w 2. För varje h 2, föregående uttryck 0 . Orsaken är att, per definition av vägtons oberoende. E (w k w j) 0 för någon k j. Vidare, eftersom w t har medelvärdet 0, E (wjwj) E (wj2) w2. För en tidsserie, Applicera detta resultat för att få ACF ges ovan. En inverterbar MA-modell är en som kan skrivas som en oändlig ordning AR-modell som konvergerar så att AR-koefficienterna konvergerar till 0 när vi rör sig oändligt tillbaka i tiden. Visa väl omvändbarhet för MA (1) modellen. Vi ersätter sedan förhållandet (2) för w t-1 i ekvation (1) (3) (zt wt theta1 (z-tetww) wt theta1z-tet2w) Vid tid t-2. Ekvation (2) blir vi då ersättningsförhållande (4) för w t-2 i ekvation (3) (zt wt theta1z-teteta21w wt theta1z-teteta21 (z-tetww) wt theta1z-theta12z theta31w) Om vi ​​skulle fortsätta Oändligt), skulle vi få oändlig ordning AR-modellen (zt wt theta1z-theta21z theta31z-tetaka41z punkter) Observera dock att om koefficienterna som multiplicerar lagren av z ökar (oändligt) i storlek när vi flyttar tillbaka i tid. För att förhindra detta behöver vi 1 lt1. Detta är förutsättningen för en inverterbar MA (1) modell. Oändlig ordning MA-modell I vecka 3 ser du att en AR (1) - modell kan konverteras till en oändlig ordning MA-modell: (xt - mu wt phi1w phi21w prickar phik1 w dots sum phij1w) Denna summering av tidigare vita ljudvillkor är känd Som kausalrepresentation av en AR (1). Med andra ord är x t en speciell typ av MA med ett oändligt antal termer som går tillbaka i tiden. Detta kallas en oändlig ordning MA eller MA (). En ändlig ordning MA är en oändlig ordning AR och någon ändlös ordning AR är en oändlig ordning MA. Minns i vecka 1 noterade vi att ett krav på en stationär AR (1) är att 1 lt1. Låter beräkna Var (x t) med hjälp av kausalrepresentationen. Det här sista steget använder ett grundläggande faktum om geometriska serier som kräver (phi1lt1) annars skiljer serien. Navigation8.3 Autoregressiva modeller I en multipelregressionsmodell prognostiserar vi räntevaran med hjälp av en linjär kombination av prediktorer. I en autoregressionsmodell prognostiserar vi räntevaran med hjälp av en linjär kombination av tidigare värden för variabeln. Termen automatisk regression indikerar att det är en regression av variabeln mot sig själv. Således kan en autoregressiv modell av ordning p skrivas som där c är en konstant och et är vitt brus. Detta är som en multipelregression men med fördröjda värden av yt som prediktorer. Vi hänvisar till detta som en AR (p) modell. Autoregressiva modeller är anmärkningsvärt flexibla för hantering av ett brett spektrum av olika tidsseriemönster. De två serierna i Figur 8.5 visar serier från en AR (1) modell och en AR (2) modell. Ändring av parametrarna phi1, prickar, phip resulterar i olika tidsseriemönster. Felet i felet et kommer bara att ändra seriens skala, inte mönstren. Figur 8.5: Två exempel på data från autoregressiva modeller med olika parametrar. Vänster: AR (1) med yt 18 -0.8y et. Höger: AR (2) med yt 8 ​​1.3y -0.7y et. I båda fallen distribueras et normalt vitt brus med medel noll och varians en. För en AR (1) modell: När phi10, yt motsvarar vitt brus. När phi11 och c0, yt motsvarar en slumpmässig promenad. När phi11 och cne0, yt motsvarar en slumpmässig promenad med drift När phi1tt0, yt tenderar att svänga mellan positiva och negativa värden. Vi begränsar normalt autoregressiva modeller till stationära data, och då krävs några begränsningar av parametervärdena. För en AR (1) modell: -1 lt phi1 lt 1. För en AR (2) modell: -1 lt phi2 lt 1, phi1phi2 lt 1, phi2-phi1 lt 1. När pge3 är restriktionerna mycket mer komplicerade. R tar hand om dessa begränsningar vid beräkning av en modell.