Först kryssar vi i de serier i trädstrukturen vi vill utvärdera. Antingen kan vi välja en urvalsmall i ”Home”-fliken och sedan återvända till ”Follow Up”-fliken eller också kryssa i alla önskade ”på plats”. De ikryssade serierna är de enda som det kommer att visas ett resultat för, det visas alltså inte automatiskt ett resultat för underserier till en förbockad serie.
Under inställningen för ”Fractions” högst upp till vänster i verktygsfältet kan man välja hur aggregering med andelstal ska göras för det utfall man vill utvärdera prognoserna mot. Ifall ”Updated” är valt kommer andelstalen att hämtas från konfigurationsdatabasen. När rutinen för andelstalsimporten är flyttad in till Aiolos Forecast Studio kommer man kunna lagra en i det närmaste obegränsad historik av andelstal som naturligtvis kan importeras om och rättas i efterhand. Ifall man för utfallet istället vill använda den information om andelstal som Aiolos hade tillgång till när prognosen exporterades väljer man ”Saved”.
För att kunna programmet ska hitta rätt prognos-filer och
extrahera rätt data ur dessa när en tidsperiod ska utvärderas behöver vi
inställningar för hur programmet ska leta. Dessa inställningar kallas för
”Extracts” eller utdrag. Dessa kan kombineras vid en och samma utvärdering en
samling av dessa utdrag kallar vi för ett utdragsurval. Vi ska börja med att
skapa ett utdragsurval som vi kommer att kalla ”elspot”. Börja med att klicka på
över ”Extracts”
I den dialog som kommer upp väljer vi att klicka på längst ner till vänster. Då kommer
följande dialog upp där man kan skapa en utdragsinställning.
Ifall man vill att varje enskild dag ska utvärderas med en prognos som är gjord dagen innan före klockan 12 kan först kan ”Length of extract” ställas in på 24 timmar dvs en dag i taget utvärderas. ”Min hours back” och ”Search hours” sätts till 12. Då kommer programmet att för en viss dag, tex 2012-03-02 leta efter en prognos som är exporterad mellan 00:00 och 12:00 d agen innan, alltså 2012-03-01. Från denna prognos kommer värden för hela 2012-03-02 att utvärderas. Längre ner kan man även filtrera bort prognoser man inte är intresserade av genom att under ”Export type” välja en särskild typ av export man är intresserad av och under ”Mode” välja ifall kanske bara automatiska prognoser ska utvärderas eller enbart manuellt exporterade. Välj ”any” här ifall programmet inte ska ta hänsyn till dessa parametrar.
Låt ”Fractions” vara ställd på ”Saved” (mer om detta i nästa avsnitt).När vi är nöjda med inställningarna, skriv in ”elspot” i namn-fältet och klicka på ok.
Då dyker ”elspot upp som ett valbart utdrag (”Available
extracts”) i den tidigare dialogen nedan. Genom att klicka på väljer man att det nyss skapade utdraget ska
ingå i det aktuella utdragsurvalet. Genom att klicka på
och
ändrar man,skapar nya eller tar bort utdrag och med pilarna
och
lägger
man till och tar bort utdrag ur aktuellt utdragsurval. Vårt urval ska bara
innehålla utdraget ”elspot” så vi skriver in ”elspot i namnrutan för urvalet och
klickar på OK.
Därefter väljer vi utvärderingsperiod med startdatum överst och antal dagar i rutan för ”Days”. Kontrollera gärna med listan på de sparade prognoserna att det finns sparade prognoser för den period du väljer.
Till höger om ”Date”-fältet finns två kryssrutor i fältet ”Forecasts”. Ifall kryssrutan ”Exported” är förbockad kommer den exporterade prognosen att utvärderas, dvs inklusive de manuella justeringar av prognosen som gjordes av den exporterade prognosen. Ifall kryssrutan ”Unadjusted” är ikryssad kommer även den ojusterade prognosen att utvärderas. Vi kryssar i bägge.
Fältet ”Selection” till höger om ”Forecasts” kan vi hoppa
över så länge, utan vi klickar direkt på för att starta utvärderingen. Under
arbetet visas längst ner till vänster hur långt utvärderingen har kommit.
För att avbryta utvärderingen klickar man på .
När utvärderingen är klar visas i det övre diagrammet tre kurvor. Den svarta är verkligt utfall som kan jämföras med dels den exporterade, dels den ojusterade prognosen. I bilden nedan kan man se ett exempel på att en förbättrande justering har gjorts av prognosen till höger i diagrammet.
I det undre diagrammet visas motsvarande väderparametrar där de prognostiserade värdena kan jämföras med observerat väder. Ifall man vill ta bort vissa parametrar kan man gå tillbaka till ”View”-fliken och kryssa ur motsvarande kryssrutor. När man sedan klickar sig tillbaka till ”FollowUp” visas bara de parametrar man valt att vara ikryssade. Till höger visas ett kalkylblad med motsvarande värden numeriskt. Längst nere till höger visas fönstret ”Statistics” med några mått på prognoskvaliteten.
Dessa är:
• ME (Mean Error) eller medelfelet som ges av
, där ei=yi-fi är det i’te felet. Ett positivt medelfel antyder att prognoserna i snitt är för låga.
• MAE (Mean Absolute Error) , medelabsolutfelet som helt enkelt är medelvärdet av felens absolutbelopp. Detta mått har en naturlig koppling till verkliga balanskostnader.
• RMSE (Root of Mean Squared Errors) Roten ur medelkvadratfelet
vilket fås genom att man tar kvadratroten ur medelvärdet av de kvadrerade felen. Detta mått kommer som följd av definitionen att vara större än MAE. En hög RMSE jämfört med MAE tyder på en ojämn prognoskvalité.
Alla dessa mått anges såväl i absoluta mått (energi eller effekt) som i procent av medellasten under den utvärderade perioden.