Driftssituasjonen i matrikkelen

Melding 28 mandag 30.03 matrikkelen er oppe igjen

 

Melding 27, Problemer med bruker-autentisering

VI har noen problemer i forhold til bruker-autentisering mot matrikkelen. Dette har noe med overgangen til Oracle 11g. Vi jobber med saken, og kommer tilbake med mer info så fort vi vet mer.

Melding 26, produksjonsserver til matrikkelen stenges i helgen

Databasen for Matrikkelen i produksjonen skal oppgraderes i helgen. Matrikkelen i produksjonen tas ned fredag kveld 27/3-2009 kl. 18:00, og vil være utilgjengelig fram til mandag morgen kl. 07:00

Melding 25, vedlikeholdstans på matrikkelens servere torsdag 26. mars

Minner om vedlikeholdsstans på Matrikkelens servere førstkommende torsdag 26. mars.
Tillgang til produksjon, http://www.matrikkel.no/matrikkel, stenges kl. 18.00.
Øvrige servere stenges etter kl. 16.00.Miljøene er tilgjengelig fra fredag morgen.

Melding 24, nedetid tirsdag 24. mars fra kl. 18:00

Det blir nedetid på Matrikkelen i produksjon ( http://www.matrikkel.no/matrikkel ) i kveld 24/3-2009. Det skal leses inn kretsfiler. Systemet tas ned kl. 18:00, og vil være nede et par timers tid.

Melding 23, stans av testprod 7001 og 7003 fra kl. 14:30 i dag

Testprod 7001 og 7003 skal oppdateres til versjon 1.10b2 i dag. Det er planlkagt stans av serverne for oppgradering ca kl 14:30. Dette gjelder altså følgende miljøer:
http://www.test.matrikkel.no:7001/matrikkel
http://www.test.matrikkel.no:7003/matrikkel
Serverne vil være tilgjengelige på slutten av dagen.

Melding 22 , test.matrikkel tas ned fredag ettermiddag

Det skal foregå vedlikehold av enkelte database-servere til helgen. Dette påvirker Matrikkelen i testprod: http://www.test.matrikkel.no/matrikkel Systemet tas ned fredag ettermiddag kl: 16:00, og vil være utilgjengelig fram til lørdag formiddag.

Melding 21, nedetid tirsdag 17. mars

Matrikkelen vil bli tatt ned tirsdag 17. mars fra kl 18.00 for innlesing av nye kretsfiler. Systemet vil ikke være tilgjengelig to til tre timer.

Melding 20 , innsynsserveren går tregt

Innsynsserveren går tregt pga av adressesøk. Kommunen som har disse adressesøkene er kontaktet og servaren er på vei opp igjen. Vi forfølger saken.

Melding 19 , nedetid tirsdag 10. mars

Matrikkelen blir nede på kvelden 10. mars.

Melding 18 , produksjonserver til matrikkelen stenges i helgen

Det blir nedetid på produksjon Matrikkeltjener førstkommende helg, 27.02 - 01.03.
Systemet stenges kl 18.00 fredag kveld og blir nede store deler av helgen.
Vi regner med at systemet er oppe igjen på søndag formiddag, senest mandag morgen kl 07.00.

Melding 17, ny versjon 1.9 testprod og kommunetest nedetid 20/2

Matrikkelen: testprod og kommunetest skal oppgraderes til 1.9.
Det blir derfor nedetid på:
http://www.test.matrikkel.no/matrikkel
og
http://www.kurs.matrikkel.no:7003/matrikkel

Systemene tas ned kl 21:00 fredag kveld (20/2-2009), og vil etter planen være oppe igjen i løpet av lørdagen.

Melding 16, ny versjon 1.9 og nedetid 17/2

Matrikkelen oppgraderes til versjon 1.9 tirsdag kveld 17/2. Det blir derfor nedetid på produksjon- og testsystemet.

Test, http://www.test.matrikkel.no/matrikkel, oppgraderes fra kl 16.00.
Produksjon, http://www.matrikkel.no/matrikkel, oppgraderes fra kl 18.00.

I tillegg skal det leses inn kretsfiler.
Oppgraderingen vil normalt ta ca 3 timer, men skal være tilgjengelig fra onsdag morgen kl. 07:00

Melding 15, nedetid 10/2 og hver tirsdag kveld til og med april måned

Det blir nedetid på Matrikkelen tirsdag kveld 10/2-2009.
Det skal leses inn nye kretsfiler, og systemet tas ned kl. 18:00 og normalt være nede ca 2-3 timer.

Det er videre planlagt å lese inn kretsfiler hver tirsdag kveld i ukene frem til og med april måned. Systemet er utilgjengelig disse kveldene i ca 2-3 timer. Det vil bli sendt ut ny melding i forkant av hver ny innlesing.

Melding 14

Matrikkelen går igjen normalt etter mange uker med treghet og uholdbare situasjoner for matrikkelbrukerne. Det var stor lettelse da feilen ble funnet etter ukers intenst arbeid, og det er med glede vi ser at driften igjen er stabil og normal.Vi avslutter nå vår daglige driftsmelding men vil legge ut informasjon så snart det er behov for å informere våre brukere om driftsituasjonen.

Statens kartverk takker kommunene og alle andre brukere av matrikkelen for å ha utvist stor tålmodighet.

Med hilsen

Heming Herdlevær

Avdelingsdirektør Matrikkelavdelingen

Melding 13

I den seneste tid har systemet til tider vært meget tregt. Vi har identifisert et teknisk problem i systemet og vi jobber sammen med leverandøren av applikasjonstjenerprogramvaren med å finne en løsning.

For å bedre situasjonen har vi de siste dagene gjort en rekke endringen i konfigurasjonen av Matrikkelsystemet og laget en patch til Matrikkelklienten som gjøre at problemet ikke vil oppstå så ofte.

Driften har med disse grepene blitt langt mer stabil denne uken.

 

Melding 12 Driftsituasjonen tirsdag 06.01.09 kl 15.50

I dag har vi kommet mye lengre med hensyn til feilen i Matrikkelen. Vi ser at problemet er meget sammensatt, og patchene vi la inn i går har hjulpet oss mye med å feilsøke i systemet.

1. Ved oppstart av Matrikkelen, laster den ned Matrikkelkartet. Dette vil for enkelte kommuner være store mengder data og størrelsen på disse dataene er avhengig av hvilken kommune det gjelder. Vi snakker her om ca 30MB.

2. I Tillegg ser vi at det er enkelte kommuner som nok har noe trege linjer eller trege PC’er. Dette fører til at nedlastingen av disse dataene tar forholdsvis lang tid.

3. Den tredje feilkilden er at WebLogic, som vi benytter som applikasjonsserver, låser seg, når den har store nedlastinger til en maskin, og samtidig gjør sine interne sjekker.

Det første punktet er vi allerede i gang med å finne en løsning på. Vi kommer tilbake med mer informasjon om dette.

Trege nettverkslinjer får ikke vi gjort noe med, utover å informere de forskjellige kommunene.

Feilen vi har med WebLogic, jobber vi med for å løse, sammen med BEA.

Melding 11 Driftssituasjonen tirsdag 06.01.09

Vi har fortsatt våre utfordringer rundt stabiliteten til Matrikkelen. Men det føles som vi stadig kommer nærmere en løsning. Vi har også støtte fra BEA, som hjelper oss med å analysere logger. Vi har høy fokus på problemet og håper å komme fram til en løsning snart.

 

Vi hadde regnet med at romjuls - dagene ville gå uten problemer da lasten var meget redusert. Men, vi så også problemene da.

 

Vi ser at det er enkelte klienter som får lastet ned forholdsvis store datamengder +-30MB, og dette gjør at WebLogic av en eller annen grunn låser seg. Under denne låseperioden, vil den aktuelle applikasjonsserveren ikke svare på henvendelser. Grunnen til låsingen ser for oss ut til å komme fra interne WebLogic rutiner. Dette betyr at vi er avhengig av BEA for å løse problemet. Vi har etter hvert oppdaget at det er enkelte klienter som gjentar seg med hensyn til store nedlastinger.

 

Vi gjør derfor følgende endringer:

1. Vi vil i dag stenge ute en kommune som har store nedlastinger for å sjekke om stabiliteten blir bedre. Dette er gjort i samråd med matrikkelbrukerne i denne kommunen og systemleverandørene. Dette vil gi oss et svar på om nedlastingene forårsaker problemet eller ikke.
2. I tillegg har vi i går kveld, lagt over alle innsynsAPI- og endringsloggAPI-kall over på Server3, som er en egen maskin uavhengig av clusteret. Dette vil gi oss tilgang til disse tjenestene selv om Matrikkelen ”sovner”. Dette er gjort på WFS/WMS-kall (geoserver) tidligere.
3. Vi har lagt inn en patch som vi har mottatt fra BEA, som gir oss ytterligere mulighet for logging.
   

Melding 10 Driftssituasjonen mandag 22.12.08

Matrikkelserverne har også i dag hatt "soveperioder". En ser fortsatt etter årsakssammenhenger, og for øyeblikket undersøker en noen IP-adresser som har gått igjen når feilsituasjonene har oppstått.

Melding 9 Driftssituasjonen torsdag 18.12.08

På grunn av problemene i produksjons systemet, https://wmail.statkart.no/exchweb/bin/redir.asp?URL=http://www.matrikkel.no/matrikkel,

vil vi stoppe systemet kl 12.00 for å gjøre en konfigurasjons endring.

Systemet blir nede i ca. en time og skal være i gang igjen kl 13.00.

Vi beklager den korte fristen.

Melding 8 Driftssituasjon onsdag 17.12.08

Nå går alle wms- og wfs kall mot kun den nye appl.serveren, dog ikke bakgrunnskartet som kommer fra egne servere. Problemet vi trodde var relatert til Geoserver viste seg å ikke ha ønsket effekt.

Vi har med dette nye serveroppsettet fått snevret inn problemet noe, og har et par løsningsforslag som testes ut nå. Ny informasjon legges ut straks vi vet hvordan dette går.

 

Melding 7: Driftsituasjonen tirsdag 16.12.08

Vi har fortsatt driftsproblemer med matrikkelen. For å prøve å forbedre responstiden på produksjonsbasen, har vi nå flyttet alle WFS/WMS kall mot en egen maskin slik at disse kallene ikke konkurrerer med andre kall mot matrikkelen. Vi regner med at dette vil bidra til mer stabile produksjonservere. Samtidig vil dette også kunne bidra til at feilsøkingen kan bli mer konsentrert. Vi kommer tilbake med status i morgen.

 

Melding 6: Driftssituasjonen mandag 15.12.08

Endringene som ble gjort på fredag, har ikke hatt noen positiv innvirkning. Vi har også flere ganger i dag hatt situasjoner hvor applikasjons-serverne har ”sovnet”

Vi vil derfor nå gjøre følgende grep:

Vi lager en ny applikasjonsserver, som skal ta for seg alle geoserver-kall (WFS og WMS). Dette vil ta av for belastingen for vanlige brukere i matrikkelen. Vi ser nemlig at WFS kall har lett for å ta litt tid. Vi håper at vi får testet ut løsningen i løpet av morgendagen, og kommer tilbake med hensyn til produksjonssetting. Kanskje dette kan bli allerede på onsdag.

Det andre grepet vi gjør er at utviklerne våre jobber med omskriving av noen sql-kall som vi ser er meget ressurskrevende. Denne omskrivingen begynner å nærme seg slutten. Utfordringen med denne omskrivingen, er at den må inngå i en ny patch for matrikkelen. Vi håper at denne patchen er klar for å testes ut på testsystemene allerede førstkommende onsdag. Hvor fort den kan legges i produksjon er litt avhengig av testene, og hvilken innvirkning den nye applikasjonsserveren har.

Melding 5: Driftssituasjonen fredag 12.12.08

Vi har i dag hjelp av BEA WebLogic. Vi går igjenom oppsettet av våre applikasjonsservere, og justerer noen av parameterene. Noe av dette krever krever omstart av serverne. Vi vil i de tilfellene restarte en og en server.Dette skal normalt ikke påvirke driften, men vi ser at under re-starten kan enkelte ting ha gått noe tregere. Beklager dette.

Om endringene vi nå gjør fører til et mer stabilt system, vil vi kanskje ikke få svar på før over helgen, når bruken av systemet tar seg opp igjen

Melding 4: Driftsituasjonen torsdag 11.12.08

Status på matrikkelen er uendret.Endringene vi gjorde med hensyn til disk-settene gjorde ikke noen forskjell. Vi har i dag også hatt tilfeller av at applikasjons-serverne har ”sovnet” på like uforklarlig vis. Et par av disse situasjonene har vart i ca 5-6 minutter. I disse periodene vil jeg nok tro at brukerne har oppfattet Matrikkelen som treg.

I morgen (fredag) vil vi få besøk av en representant fra BEA (WebLogic) for hjelp oss med å finne ut av problemet. Jeg håper at dette kan bidra til at vi finner ut av problemet, og at vi eventuelt kan få mer fokus på det fra BEA sin side.

Melding 3: Mer informasjon om driftssituasjonen

Vi har fortsatt problemer med at applikasjons-serverne for Matrikkelen ikke svarer på respons. Vi ser at aktiviteten uteblir på serverne. Dette gjentar dette seg med forskjellig mellomrom. Vi har hatt noen situasjoner nå på morgenen. Det ser ut til at dette problemet er større på formiddagen enn på ettermiddagen, uten at vi ser noen særlig grunn til dette. Det kan kanskje se ut til at belastningen på serverne er noe mindre på ettermiddagen. Brukerne vil oppfatte Matrikkelen som ”treg” under denne perioden. Hvor lenge sov-periodene varer, varierer fra gang til gang, 2 – 3 minutt. En sjelden gang, noe lenger.

Litt mer teknisk informasjon:

Vi har diskutert med IT-drift, og gjort nå en endring på diskoppsettet til den ene av Matrikkelserverne. Disk-settene er slik at de blir delt mellom mange servere. Dette vil med andre ord si at stor belasting på diskstettet fra Matrikkel-serverne og andre maskiner vil kunne påvirke oppførselen til Matrikkelen. Nå har vi laget et eget disksett (LUN), som kun den ene av Matrikkel-serverne benytter. Det neste døgnet blir nå spennende for å se om denne serveren får problemene.

Den andre serveren står fortsatt på det gamle disksettet, og vil fortsatt kunne ha disse problemene.

Som nevnt tidligere, er dette problemet vanskelig å finne ut av, da WebLogic ikke logger noe under denne ”sove-perioden”. Det er et gap i logg-filene som tilsvarer den tiden vi ser aktiviteten uteblir. Utfordringen ligger også i det at Proxy-serveren, som brukerne går mot, oppfatter alt som OK, og fortsetter å sende henvendelser til den ”sovende” serveren. Responsen tilbake til brukeren uteblir.

Vi har laget en Service request på problemet, og BEA WebLogic jobber også med saken. Vi håper på en snarlig løsning.

Melding 2: Beskrivelse av driftssituasjonen som oppdateres ved endringer:

Situasjonen er omtrent uforandret 10. desember 2008 kl. 9.

Arbeidet med optimalisering av spørringer jobbes det med for fullt, men det vil ta tid før dette er ferdig programmert og ferdigtestet.

Grunnen til at serverne faller ned til et minimum er ikke funnet. De har i dag "falt ned" ett par ganger i timen med varighet fra i underkant av ett minutt til ca. 5 minutt. Det at systemet ikke logger noe i disse perioden gir oss en utfordring i arbeidet med å finne årsaken/-ene.

Samtidig med dette arbeidet prøver IT-avdelingen å finne unormale ting på nettverk, VMware og Oracle.

Melding 1: Situasjonsbeskrivelse ved etablering av siden (5. desember 2008 kl. 15)

- Noen personsøk viser seg nå å bli for tidkrevende å prosessere på en så stor database som matrikkelen nå har. Disse må optimaliseres ! Vi har startet opp med dette arbeidet, og vi tenker å legge ut en patch straks vi har noe som vi mener vil gi bedring.Personsøk er kanskje de viktigste i denne situasjonen. Om vi må innskrenke søkene, eller kreve mer utfylt data før søkene startes vurderer vi.

- Vi har i tillegg et foreløpig uforklarlig problem. Dette kan skyldes nettverks-/ routing-/ brannmur- eller proxy-problem, men som sagt vi har ikke klart å avdekke konkret årsak enda. Problemet er: En eller flere ganger pr. dag faller lasten på først den ene appl.servere, så den andre. Basen faller også ned på et minimum, og alt ser ut til å ”sove” i noen minutter inntil serverne våkner til liv igjen. Enkelte ganger restarter applikasjonsserverne automatisk men som oftest kommer aktiviteten i gang igjen uten at de rebooter.