Page tree
Skip to end of metadata
Go to start of metadata

Tiedonsiirtomaaritykset korkeakouluille

 Ks. myös tietovarannon tiedot, tietovarannon koodistot ja tietokantakuvaus.

Lukurajapintojen määritykset ovat sisällöllisesti samat kuin XML-tiedonsiirtomääritykset korkeakouluille. Tieto välitetään per henkilö (virta.xsd) joko henkilötunnuksen tai valtakunnallisen oppijanumeron perusteella.

Yleistä tiedonsiirrosta

Nämä tiedonsiirtomääritykset koskevat tietojen siirtämistä korkeakoulusta tietovarantoon. Tietojen lukemiseksi on erikseen web services -tyyppinen rajapinta, joka palauttaa tiedon järjestettynä CEN\SFS-standardin EUROLMAI-mukaan viranomaiskäyttöön tai korkeakoululle siirrettyjen tietojen tarkistamiseksi tai muuhun käyttöön.

Ohjausryhmän päätöksen 25/25.5.2012 perusteella tuetaan vain oletustiedonsiirtotapaa, mikä perustuu eräsiirtoon korkeakoulusta tietovarantoon.

Tietovarannon tietosisällön päivittämisen perustapaus on, että korkeakoulu päivittää eräsiirrolla kaikki tiedot uudestaan eli kaikki aiemmin tuotu tieto poistetaan alta. Kehitteillä on tapa päivittää eräsiirrolla tietoja vain muuttuneilta osin, eli yksittäisiä tietoja lisätään, muutetaan tai poistetaan (yksilöivät id:t!). 

Tiedonsiirto korkeakoulusta tietovarantoon muodostuu xml-tyyppisestä siirtotiedostosta tai vastaavasta(, kuten json?). Koska tietovarantoon sisältyy tietoja, jotka voivat saada nollasta useaan tiettyä ominaisuutta, ei CSV-kaltaiset yksiulotteiset tiedonsiirtoformaatit ole hyviä: esimerkki hylätystä CSV-vaihtoehdosta.

Tiedonsiirtomääritykset korkeakoulusta tietovarantoon

Tiedonsiirtomääritykset XML-skeemoina (http://www.w3.org/XML/http://www.w3.org/XML/Schema) on listattu alla (alisivuja). Jokainen skeematiedosto on alisivun liitetiedostona siten, että myös vanhemmat versiot on saatavilla. Lisäksi kustakin varsinaisesta tietorakenteita kuvaavasta skeemasta (skeeman nimi alkaa isolla kirjaimella) löytyy wikistä sekä kaavio että skeematiedosto.

XML-skeemat (viimeisimmät versiot : https://github.com/CSCfi/VIRTA-Opintotietopalvelu/tree/master/XML-skeemat)

Päivityshistoria

  • 04.10.2019 Päivitetty koodisto-skeemaa versioon 1.06.35
    Uusi oppilaitosnro 00620 (=Nurmijärven lukio)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 18.09.2019 Päivitetty koodisto-skeemaa versioon 1.06.34
    Uusi oppilaitosnro 03877 (=Jokilaakson koulu)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 29.08.2019 Päivitetty koodisto-skeemaa versioon 1.06.33
    Uusi erikoistumiskoulutuskoodi 063 (=Vaativan erityisen tuen erikoistumiskoulutus)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 16.08.2019 Päivitetty koodisto-skeemaa versioon 1.06.32
    Uusi oppilaitosnro 03871 (=Kivimiehen koulu)

    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 01.08.2019 Päivitetty koodisto-skeemaa versioon 1.06.31
    Uusi oppilaitosnro 03879 (=Kangasvuoren päiväkotikoulu)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!

  • 01.07.2019 Päivitetty koodisto-skeemaa versioon 1.06.30
    Uusi oppilaitosnro 03878 (=Savulahden päiväkotikoulu)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 29.05.2019 Päivitetty koodisto-skeemaa versioon 1.06.29
    Kaksi uutta koodia pätevyyskoodistoon
    vs: Tutkintoon sisältyy varhaiskasvatukseen ja sosiaalipedagogiikkaan suuntautuneet vähintään 60 opintopisteen laajuiset opinnot (AMK)
    vo: Erilliset varhaiskasvatuksen sosionomipätevyyteen tähtäävät opinnot (AMK) 60 op
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 23.04.2019 Päivitetty koodisto-skeemaa versioon 1.06.28
    Uusi erikoistumiskoulutuskoodi 062 (=Uraohjauksen erikoistumiskoulutus)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 01.04.2019 Päivitetty koodisto-skeemaa versioon 1.06.27
    Uudet koodit Teatteripedagogi (AMK) 621502 ja Teatteripedagogi (ylempi AMK) 721502
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 08.02.2019 Päivitetty koodisto-skeemaa versioon 1.06.26
    Uusi erikoistumiskoulutuskoodi 061 (=Aivoterveys erikoistumiskoulutus)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 25.1.2019 Päivitetty koodisto-skeemaa versioon 1.06.25
    Uusi erikoistumiskoulutuskoodi 060 (=Meriklusterin erikoistumiskoulutus)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 14.1.2019 Erikoistumiskoulutuskoodit 058 (=Julkisen taiteen taideasiantuntijan erikoistumiskoulutus) ja  059 (=Soveltavan ja osallistavan taiteen asiantuntijan erikoistumiskoulutus)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 12.12.2018 Päivitetty koodisto-skeemaa versioon 1.06.23
    Uusi erikoistumiskoulutuskoodi 057 (="Palliatiivisen hoidon asiantuntija")  ja oppilaitosnumeroita 00618 "Nettilukio", 00619 "Joensuun aikuislukio", 03869 "Taikatahdin koulu", 10125 "Careeria"
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 03.12.2018 Päivitetty koodisto-skeemaa versioon 1.06.22
    Lisätty uusi organisaatio rooli koodi arvo: 5 (="Fuusioitunut myöntäjä")
    Sekä erikoistumiskoulutuskoodit  055 (=TOPSOS Sosiaalivakuutuksen huippuasiantuntijan erikoistumiskoulutus) ja 056 (=Asiakas- ja palveluohjauksen erikoistumiskoulutus)
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 24.8.2018 Päivitetty koodisto-skeemaa versioon 1.06.21
    Lisätty oppaitoskoodeja, mm. uusi Tampereen Yliopisto 10122
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 28.5.2018 Päivitetty koodisto-skeemaa versioon 1.06.20
    Lisätty: 750805 Insinööri (ylempi AMK), projekti- ja myyntijohtaminen
    sekä: 052 Median erikoistumiskoulutus: Digitaalisen datan hyödyntäminen mediassa ja journalismissa, 053 Urheilujournalismin erikoistumiskoulutus, 054 Uraohjauksen erikoistumiskoulutus koodit
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 21.5.2018 Päivitetty koodistot-skeemaa versioon 1.06.19
    Lisätty puheterapeutti ja ravitsemusterapeutti pätevyyskoodistoon 
  • 21.3.2018 LukukausiIlmoittautumiset.xsd skeema päivitetty versioon 1.06.2 ja koodistot.xsd skeema versioon 1.06.18
    Lisätty lukuvuosimaksun tila tieto ja maksun tila koodit (maksamatta, maksettu) koodistoon.
    LukukausiIlmoittautumiset.xsd 1.06.2 vaatii toimiakseen parikseen vähintään koodistot.xsd 1.06.18 version, vanhemmat koodistot.xsd eivät sisällä maksuntila koodistoa.
    Molemmat skeemat (LukukausiIlmoittautumiset.xsd ja koodistot.xsd) tulee päivittää jotta voi tuoda lukuvuosimaksun tila tietoja.
    Sivulta poistettu linkki vanhaan 1.05. skeeman koodistot.xsd tiedostoon jota ei enään tule käyttää.
  • 14.2.2018 Päivitetty koodistot-skeemaa versioon 1.06.17
    Lisätty Opintosuorituksen luokitteluun arvot 12-15. 12 Suoritus on korkeakoulujen välisillä yhteistyösopimuksilla opiskelevan suorittama ja kirjattu varsinaisena suorituksena opiskelijan kotikorkeakoulussa, 13 Opintosuoritus on täydennyskoulutuksessa suoritettu, 14 Suoritus on suomi/ruotsi vieraana kielenä ja 15 Suoritus sisältää kotimaista harjoittelua
  • 05.12.2017 Päivitetty koodistot-skeema versioon 1.06.16
    Lisätty Erikoistumiskoulutuskoodi: 051 Monikulttuurisen varhaiskasvatuksen asiantuntija
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 17.11.2017 Päivitetty koodistot-skeema versioon 1.06.15
    Lisätty Erikoistumiskoulutuskoodit: 047 Sairaanhoitajan vastaanottotoiminta, 048 Korjausrakentamisen erikoistumiskoulutus, 049 Etäratkaisut kuntoutumisen tukena, 050 Sosioemotionaalisten taitojen tukeminen varhaiskasvatuksessa
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 13.10.2017 Päivitetty koodistot-skeemaa versioon 1.06.14. Lisätty 999907  Taiteen perusopetus
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 20.9.2017 Päivitetty koodistot-skeemaa versioon 1.06.13. Lisätty 772601 Filosofian maisteri, transitionaalinen lääketiede ja 750506 Insinööri (ylempi AMK), materiaalitekniikka
    Erikoistumiskoulutuskoodit: 038 Biotalouden erikoistumiskoulutus, 039 Digitaalinen talousohjaus erikoistumiskoulutus, 040 Digitekijä Fast Track erikoistumiskoulutus, 041 Digitaalisen liiketoiminnan kehittäjä, 042 Oikeustulkkauksen erikoistumiskoulutus,
    043 Digitaalisen datan hyödyntäminen viestinnässä, mediassa ja journalismissa, 044 Kirjastoesimies muutoksen toteuttajana. 045 Mielenterveys- ja päihdetyön erikoistumiskoulutus,046 InfraPOMO-erikoistumiskoulutus + 525 kpl puuttuvaa "00"-päätteistä koulutuskoodia
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
  • 14.9.2017 Päivitetty koodistot-skeemaa versioon 1.06.12. Lisätty kolme tutkintokoodia 726400 Filosofian maisteri, filosofian kandidaatti, kirjallisuuden, kulttuurien ja kielentutkimus, 742100 Filosofian maisteri, filosofian kandidaatti, matematiikka ja tilastotiede ja 742700 Filosofian maisteri, filosofian kandidaatti, biologia, biotieteet ja ympäristötiede
  • 25.8.2017  Päivitetty koodistot-skeemaa versioon 1.06.11. Lisätty pätevyyskoodistoon koodi: va  "erilliset varhaiskasvatuksen tehtäviin ammatillisia valmiuksia antavat opinnot (YO)"
    ja tutkintokoodistoon koodi 631000 "Tradenomi, liiketalouden ammattikorkeakoulututkinto"
  • 13.6.2017  Päivitetty koodistot-skeemaa versioon 1.06.10
    Lisätty organisaatio Schildtin lukio koodi 10115
  • 28.04.2017 Päivitetty koodistot-skeema versioon 1.06.9
    Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    Lisätty uusi tutkintonimike koodistoon "750804 Insinööri (ylempi AMK), energia- ja ympäristötekniikka"
  • 19.12.2016 koodistot.xsd 1.06.8 Uusia erikoistumiskoulutuskoodeja: 024 Musiikin managerointi, 025 Yhteisömuusikko, 026 Kunta- ja alueyhteisöjen palveluosaamisen erikoistumiskoulutus, 027 Syöpäpotilaan moniammatillinen hoitoketju, 028 Moniammatillinen kotikuntoutus, 029 Datakeskuksen kiinteistöasiantuntija, 030 Digiope erikoistumiskoulutus - Ammatillinen opettaja oppimisympäristöjen pedagogisena kehittäjänä, 031 Koulutusviennin erikoistumiskoulutus, 032 Lastensuojelutyön erikoistumiskoulutus, 033 Monikulttuurisuuden asiantuntijan erikoistumiskoulutus, 034 Sosiaali- ja terveysalan palveluiden kehittäjä, 035 Monikulttuurisuuden asiantuntijan erikoistumiskoulutus, 036 Oikeuspsykologian erikoistumiskoulutus, 037 Liikuntakiinteistöasiantuntija 
  • 29.11.2016 koodistot.xsd 1.06.7 lisätty skeemaan "ege -Erikoislääkäri geriatria"
  • 16.11.2016 koodistot.xsd 1.06.6. Uusi oppilaitoskoodi 10118 Kaakkois-Suomen Ammattikorkeakoulu ("XAMK") ja  lisätty pätevyyskoodit hte 'Hoitotason ensihoito 30 op' ja pte 'Psykoterapeutti'
  • 13.9.2016 Uusia erikoistumiskoulutuskoodeja lisätty koodistot.xsd 1.06.3: 018 Hygieniahoitajan erikoistumiskoulutus, 019 Kyberturvallisuus, 020 Teatteri-ilmaisun erikoistumiskoulutus,
    021 Huomisen matkailukohde: MARATA-alan ennakoinnin ja kehittämisen erikoistumiskoulutus, 022 Monikulttuurisuus opetustyössä, 023 Minimalismi mukautuvassa suunnittelussa
  • 2.6.2016 Oma latauslinkki 1.05. skeeman koodistot.xsd vanhan skeeman koodistoille
  • 10.5.2016 Päivitetty XML-tiedonsiirtoskeemat versioon 1.06
  • 9.5.2016 Päivitetty koodistot-skeema (versiossa 1.06.2)
    • Lisätty Työterveyshuollon asiantuntija, lääkäri ja terveydenhoitaja pätevyyskoodit
    • Lisätty Musiikki pätevyyskoodi.
  • 31.3.2016 Päivitetty koodistot-skeema (versiossa 1.05.20)
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Lisätty tutkintokoodeja 681503 Poliisin peruskoulutus (AMK) ja 781501 Poliisin päällystökoulutus (Ylempi AMK)
    • Lisätty Valvira Erikoislääkäri ja -hammaslääkäri pätevyyskoodeja
  • 2.3.2016 Päivitetty koodistot-skeema (versiossa 1.05.19)
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Lisätty Patevyys-koodistoon (pel=)Suoritettu perusterveydenhuollon lisäkoulutus ja (yek=)Suoritettu yleislääketieteen erityiskoulutus
  • 1.3.2016 Päivitetty Liikkuvuusjaksot-skeema versioon 1.05.2 (tulee käyttöön 7.3.2016)
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida Liikkuvuusjaksot.xsd-tiedosto!
    • Muutettu Liikkuvuusjakson liikkuvuuden tyyppi ei-pakolliseksi
  • 19.1.2016 Päivitetty koodistot-skeema (versiossa 1.05.18)
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Lisätty Patevyys-koodistoon neljä Valviran tarvitsemaa EU- ja ETA-alueen ulkopuolelta tulevien lääkäriopiskelijoiden koodeja
  • 16.12.2015 Päivitetty koodistot-skeema versioon 1.05.18
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Lisätty Patevyys-koodistoon (ela=)Erikoislääkäri ja (eha=)Erikoishammaslääkäri sekä Opintosuorituksen luokittelu -koodistoon (9=)Suoritus on kansainvälinen yhteistutkinto ja (10=)Suoritus on kansainvälinen kaksoistutkinto
  • 7.12.2015 Päivitetty Virta-skeema versioon 1.05.2 + sekä Liikkuvuusjaksot-skeematiedoston merkistö
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida Virta.xsd-tiedosto!
    • Lisätty Liikkuvuusjaksot osaksi Virta-skeemaa
    • Liikkuvuusjaksot-skeematiedoston (xsd) merkistö (encoding) muutettu vastaamaan kaikkia muita, eli UTF-8-BOM (siis nuo bom-merkit mukaan tiedostoon)
  • 28.10.2015 Lisätty Liikkuvuusjaksot-skeema 1.05.1
    • Ainoastaan skeema-tiedoston versionumero päivitetty ja linkitetty tälle koontisivulle, eli mitään varsinaisia muutoksia skeemaan ei tullut. Jos siis skeematiedoston on löytänyt wikistä aiemmin, mitään ei tarvitse tehdä.
  • 27.10.2015 Päivitetty tyypit-skeema versioon 1.05.2
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida tyypit.xsd-tiedosto!
    • Lisätty ainoastaan LiikkuvuusjaksoAvainTyyppi
  • 15.10.2015 Päivitetty koodistot-skeema versioon 1.05.17
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Lisätty Patevyys-koodistoon Uskonto (islam) ja Uskonto (buddhalaisuus)
  • 30.9.2015 Päivitetty koodistot-skeema versioon 1.05.16
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Lisätty Tutkintonimike-koodistoon 750304 Insinööri (ylempi AMK), sähkövoimatekniikka
  • 28.9.2015 Päivitetty koodistot-skeema versioon 1.05.15
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Lisätty Tutkintonimike-koodistoon 750509 Insinööri (ylempi AMK), bio- ja elintarviketekniikka
  • 8.9.2015 Päivitetty koodistot-skeema versioon 1.05.14
    • Erikoistumiskoulutus opiskeluoikeuden tyyppi "19"
    • Sosiaalityöntekijä pätevyyskoodi "sos"
  • 15.6.2015 Päivitetty koodistot-skeema versioon 1.05.13
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty Tutkintonimike-koodistoon vuoden 2015 uusia arvoja.
  • 28.4.2015 Päivitetty koodistot-skeema versioon 1.05.12
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty, poistettu ja muutettu yksittäisiä Pätevyys-koodiston arvoja liittyen Opettajien (aine-)pätevyyksiin.
  • 20.4.2015 Päivitetty koodistot-skeema versioon 1.05.11
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty Pätevyys-koodistoon Opettajien ainepätevyyksiä 
  • 2.3.2015 Päivitetty koodistot-skeema versioon 1.05.10
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty Pätevyys-koodistoon Opettajan yleiset pätevyydet
        • Lisätty Pätevyys-koodistoon Valviran opiskelunaikaiset pätevyydet
        • Poistettu Tutkintonimike-koodistosta koulutuskoodien nk "tuplanollat" pois
  • 3.10.2014 Päivitetty koodistot-skeema versioon 1.05.9
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty Opintopolusta löytyneitä, mutta vielä tietovarannosta puuttuneita koodeja Tutkintonimike- (koulutuskoodi) ja Organisaatio- (oppilaitos) koodistoihin liittyen:
          • Koulutuskoodit: 039996,010001,100000,099999,039998,020075,039997,110200,110100,038411,110000,039999
          • Oppilaitokset: 03835,10111,10112,10108,03832,10107,00614,10110,03834
  • 17.9.2014 Päivitetty koodistot-skeema versioon 1.05.8
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty vuoden 2014 uusia koulutuskoodeja (2 kpl): 750505 ja 750602
  • 27.2.2014 Päivitetty koodistot-skeema versioon 1.05.7
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty vuoden 2013 uudet koulutuskoodit (13 kpl).
  • 6.2.2014 Päivitetty koodistot-skeema versioon 1.05.5 ja 1.05.6
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty Lapin ammattikorkeakoulun (Lapin AMK) oppilaitostunnus 10108, eli korkeakoulujen valtakunnallisen tietovarannon Organisaatio-koodiston arvo, koodistot-skeemaan.
        • Lisätty myös 1050 oppilaitoskoodia Organisatio-koodistoon, jotka koodit on ainakin valtaosin ennen vuotta 2000 voimassaolleiden oppilaitosten koodeja.
        • Lisätty koodi 662151 Koulutuskoodi-koodistoon.
  • 16.12.2013 Päivitetty Opiskeluoikeudet-skeema versioon 1.05.4
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida Opiskeluoikeudet.xsd-tiedosto!
      • Muutos vaikutti kahteen kaaviokuvaan (Opiskeluoikeudet ja Virta), vaikka vain yhtä skeemaa muutettiinkin.
      • Muutos ei vaikuta olemassa oleviin toteutuksiin (sisäänpäin tietovarantoon).
    • Muutoksia
      • Opiskeluoikeudet.xsd
        • Patevyys-tiedon suhde opiskeluoikeusjaksoon: 0..1 => 0..n. Eli siis aiemmin nolla tai yksi pätevyys-tietoa, nyt saa olla nolla, yksi tai monta pätevyys-tietoa.
  • 10.12.2013 Päivitetty koodistot-skeema versioon 1.05.3
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty Organisaatio-koodistoon oppilaitosrekisterin vuoden 2012 tiedot
        • Lisätty Koulutuskoodi-koodistoon koulutusluokituksen vuoden 2012 tiedot
        • Siistitty tiedostoa mm. karsimalla selitetekstit pois
  • 4.11.2013 Päivitetty koodistot-skeema versioon 1.05.2
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd-tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty Taideyliopiston oppilaitostunnus 10103, eli korkeakoulujen valtakunnallisen tietovarannon Organisaatio-koodiston arvo, koodistot-skeemaan.
  • 6.9.2013 Päivitetty koodistot- ja tyypit-skeemat versioon 1.05.1
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd ja tyypit.xsd -tiedostot!
    • Huom2! Vaikka XML-teknisesti mukana oleva arvosana-koodistojen laajennus tapahtuukin myös XML-elementin lisäyksellä (~= rakenteellinen muutos), pidetään versiopäivitys kuitenkin "koodistopäivityksenä". Täten nimiavaruus ei muutu ja tämän version käyttöönottamisen aikataulu ei ole missään määrin kriittinen. XML-elementin lisäys ei siis kajoa olemassa oleviin rakenteisiin mitenkään.
    • Muutoksia
      • tyypit.xsd
        • Henkilotunnus-tiedon muodollinen tarkistus säännöllisellä lausekkeella: "(0[1-9]|[12][0-9]|3[01])(0[1-9]|1[0-2])[0-9][0-9][+\-A]((00[2-9]|[0-8][1-9][0-9]|[1-8][0-9][0-9])[0-9ABCDEFHJKLMNPRSTUVWXY])?".
          • Korjaa aiemmassa lausekkeessa olleen virheen, joka salli välimerkiksi huomattavan suuren joukon merkkejä.
          • Lisäksi nyt käytettävä lauseke on muutenkin huomattavasti paremmin hetun muodon  oikeellisuuden tarkistava.
          • Kiitokset Arcadaan uudesta säännöllisestä lausekkeesta!
        • Päivämäärä-kenttiin yleinen sääntö siten, että ennen 1.1.1900 päivämäärää aiemmat eivät kelpaa.
          • Pyrkimys vähentää virheitä ja mahdollistaa virheiden mahdollisimman varhainen havaitseminen esimerkiksi tapauksissa, että järjestelmään on syötetty vuosi 0998 tai jopa 0008.
        • Lisätty EiKaytossa-arvosana-asteikko. Ks. alla
      • koodistot.xsd
        • Lisätty arvosana  Arvosana ei käytössä  EiKaytossa-arvosana-asteikkoon.
          • Tämän lisäyksen ansiosta esimerkiksi tutkinnot, joihin liittyen ei aina ole arvosanaa, voidaan ilmoittaa ilman arvosanaa. Arvosanattomuus voidaan ilmoittaa nyt kuitenkin siten, että opintosuoritus-elementissä arvosana on edelleen pakollinen tieto.
  • 29.01.2013 Päivitetty skeemat (ja kaaviot) versioon 1.05
    • Muutoksia:
      • Opintosuoritukset.xsd
        • Ensimmäinen pakollinen Organisaatio-elementti muutettu nimelle Myontaja.
        • Nimi- ja JulkinenLisatieto-elementteihin laajennuksena valinnainen kieli-attribuutti.
        • Nimi- ja JulkinenLisatieto-elementtien toistuvuus muutettu rajoittamattomaan (0..1) => (0..*). Erityisesti siksi, jos suorituksen ko. tietoja halutaan antaa usealla eri kielellä.
        • (Tämä muutos pääosin tyypit.xsd-skeemassa, mutta vaikutus erityisesti Opintosuoritukset-skeemaan)
          Muu-arvosana-asteikon elementtien nimet muutettu sekä lähdejärjestelmän tunnistetietoa sisältänyt kenttä muutettu attribuutiksi.
          • Arvosana.Muu.Asteikko.Koodi (elem) -> Arvosana.Muu.Asteikko.avain (attr)
          • Arvosana.Muu.Asteikko.Arvosana -> Arvosana.Muu.Asteikko.AsteikkoArvosana
          • Arvosana.Muu.Asteikko.Arvosana.Koodi (elem) -> Arvosana.Muu.Asteikko.AsteikkoArvosana.avain (attr)
          • Arvosana.Muu.Asteikko.Arvosana.Arvosana -> Arvosana.Muu.Asteikko.AsteikkoArvosana.Koodi
      • Opiskeluoikeudet.xsd
        • Ensimmäinen pakollinen Organisaatio-elementti muutettu nimelle Myontaja.
      • LukukausiIlmoittautumiset.xsd
        • Lisätty pakollinen Myontaja-elementti. Tämä siksi, että yhdistettäessä useassa korkeakoulussa opiskelevan opiskelijan tiedot yhteen voidaan aukottomasti päätellä mihin mm. avain-tiedot viittaavat.
      • Opiskelijat.xsd
        • Ei muita muutoksia kuin versionumeron sekä nimiavaruuden muutokset.
      • tyypit.xsd
        • Poistettu tarpeettomana xml-nimiavaruuden haku mukaan skeemaan pois.
        • Poistettu tarpeettomina ja osittain haitallina JuuriElementtiLaajennusTyyppi-tyypin sisältö. Eli juurielementtien xml:lang- ja organisaatio-attribuutteja ei enää ole.
        • Siistitty yleisesti teknisiä kommentteja pois.
      • koodistot.xsd
        • Siistitty yleisesti teknisiä kommentteja pois.
  • 21.01.2013 Päivitetty koodistot-skeema versioon 1.04.2
    • Huom! Skeeman nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida koodistot.xsd -tiedosto!
    • Muutoksia
      • koodistot.xsd
        • Lisätty arvoja Kunta-, Maa- ja Kieli-koodistoihin. Kieli-koodistoon lisätty arvo 98, Maa-koodistoon lisätty arvo 891 ja Kunta-koodistoon paljon arvoja, jotka ovat olleet aiemmin käytössä.
        • Päivitetty Arvosana-asteikkoja. Lisätty Viisiportainen-asteikkoon arvosana HYV=Hyväksytty sekä poistettu arvosana 0. Poistettu Hyvaksytty-asteikosta arvosana HYL=hylätty.
  • 11.01.2013 Päivitetty tyypit- ja koodistot-skeemat versioon 1.04.1
    • Huom! Skeemojen nimiavaruutta ei muutettu, joten versiopäivitykseksi riittää kopioida tyypit.xsd ja koodistot.xsd -tiedostot!
    • Muutoksia:
      • koodistot.xsd
        • Päivitetty Kunta-, Maa- ja Organisaatio-koodistot sisältämään koko 2000-luvun tiedot.
        • Huom! Organisaatio-koodisto ulottuu vasta 2010-vuoteen saakka. Lisäksi Koulutuskoodi (koulutusluokitus/tutkinto) sisältää toistaiseksi vain vuoden 2010 tiedot.
      • tyypit.xsd
        • Poistettu tarpeeton ylimääräinen tyyppimääritys HenkilotunnusTyyppi-elementistä (maxLength=11).

        • Muutettu  KoulutusmoduulitunnisteTyyppi ja ValtakunnallinenKoulutusmoduulitunnisteTyyppi -tyyppien pituudet 200-merkkiin.
  • 26.11.2012 Päivitetty skeemat ja kaaviot versioon 1.04
    • Muutoksia:
      • koodistot.xsd
        • Päivitetty Pätevyys-koodistoon asiantuntijoiden ilmoittamia arvoja erityisesti Valviraan liittyen
      • tyypit.xsd
        • Tarkennettu henkilötunnuksen muotoa siten, että vain aidot suomalaiset hetut kelpaavat (tarkistusosan ensimmäinen merkki 0-8 (ei 9)) sekä vain syntymäaikaa ilmoittaville välimerkki (=vuosisatamerkki) on pakollinen.
        • Nimetty: OpintosuoritusLisatietoTyyppi => OpintosuoritusJulkinenLisatietoTyyppi
        • Lisätty: Opintosuorituksiin liittyen 'Muu' arvosana-asteikkoon liittyen rakenne, jolla arvosana-asteikko arvosanoineen voidaan ilmoittaa osana tiedonsiirtoa.
      • Opintosuoritukset.xsd
        • Nimetty uudestaan: Lisatieto -> JulkinenLisatieto
        • (lisäksi tyyppi.xsd-skeeman muutos 'Muu' arvosana-asteikkoon liittyen koskee tietysti erityisesti opintosuorituksia)
      • Virta.xsd
        • Muutettu: Opiskeluoikeuksien pakollisuus valinnaiseksi.
      • Muut skeemat muutettu vain vastaamaan versionumeroltaan sekä nimiavaruudeltaan.
  • 5.11.2012 Päivitetty skeemat ja kaaviot versioon 1.03
    • Muutoksia:
      • Nimetty kattavasti elementtejä ja attribuutteja uudestaan siten, että nimet vastaavat paremmin korkeakoulujen tietomallia (xdw-malli). Selkein esimerkki tästä on kaikki elementit ja attribuutit, joissa esiintyi "id".
      • Joitakin rakenteellisia muutoksia, esim opiskeluoikeuden opiskelijaliikkuvuus (oli tarpeeton).
      • Ilmoittautumiset-skeema nimetty uudestaan nimelle LukukausiIlmoittautumiset
      • Lisätty Kansainvälistä vaihtoa -koodisto tiedonsiirtoskeemaan
    • Puutteita/tulevaa
      • Koodistojen tarkentaminen ja täydentäminen: pätevyys, arvosana-asteikot
  • 30.10.2012
    • Puutteita/tulevaa
      • Elementtien ja attribuuttien nimeäminen uusitaan
  • 25.10.2012 Päivitetty skeemat ja kaaviot versioon 1.02
    • Muutoksia:
      • Lisätty valtakunnallinen koulutusmoduuli id Opiskeluoikeudet ja Opintosuoritukset -skeemoihin
      • Koodistoa tarkennettu arvosana-asteikkojen osalta. Samalla Opintosuoritukset-skeemaa päivitetty arvosanojen osalta.
      • Lisätty täysin uutena uusi skeema Virta, joka oikeastaan vain yhdistää kaikki muut skeemat.
    • Puutteita/tulevaa
      • id-tietotyyppien muutos ja linkittäminen toisiinsa, kun mahdollista tai suotavaa
      • Koodistojen tarkentaminen ja täydentäminen: pätevyys, arvosana-asteikot
  • 11.10.2012 Päivitetty skeemat ja kaaviot versioon 1.01.
    • Muutoksia:
      • Poistettu toistaiseksi tarpeettomat <Koodi>-tagit, jotka voi helposti laajentaa myöhemmin mukaan, jos tarvetta ilmenee.
      • Opintosuoritukset-skeemaan muutettu Opinnaytetyo-elementin rakenne: Lisätty Koodi-elementti ja muutettu hankkeistettu->Hankkeistettu (attribuutista elementiksi).
      • Koodistoja tarkennettu ja täydennetty. Vielä on keskeneräisiä mm. pätevyys ja arvosana-asteikot.
    • Puutteita/tulevaa:
      • Valtakunnallinen koulutusmoduuliID
      • id-tietotyyppien muutos ja linkittäminen toisiinsa, kun mahdollista tai suotavaa
      • Koodistojen tarkentaminen ja täydentäminen: pätevyys, arvosana-asteikot
  • 10.10.2012 Päivitetty skeemat ja kaaviot versioon 1.0. Versionumero on ohjausryhmän päätöksen jälkeen "virallinen julkaistu versio", mutta asiavirheitä ja tarkennuksia tehdään vielä. Erityisesti nyt alkavien Virta-projektin pilottitoteutusten aikana.
    • Puutteita/tulevaa:
      • Valtakunnallinen koulutusmoduuliID
      • id-tietotyyppien muutos ja linkittäminen toisiinsa, kun mahdollista tai suotavaa
      • Koodistojen tarkentaminen ja täydentäminen (esim. pätevyys, organisaatio)
      • Luovutaan toistaiseksi turhista <Koodi>-elementeistä, kuten Opiskeluoikeus.Tyyppi.Koodi, Opintosuoritus.Patevyys.Koodi jne.
  • 4.10.2012 Päivitetty skeemat ja kaaviot versioon 0.6 ja 0.61. Lukuisia muutoksia asiantuntijaryhmän työpajan (2.10.2012) perusteella. Myös laajoja tietotyyppien tarkentamista ja keräämistä kahteen skeemaan (tyypit ja koodistot).
  • 28.9.2012 Päivitetty skeemat ja kaaviot versioon 0.5. Muutokset enimmäkseen aiempien "TODO"-kohtien läpikäyntiä ja ratkaisuja niihin. Joitakin rakenteellisia muutoksia.
  • 25.9.2012 Päivitetty skeemat ja kaaviot versioon 0.4. Muutoksia rakenteissa niin tietosisältöön liittyen kuin yleisemminkin. Lisäyksiä tietosisältöön, mm. kirjoilletulopvm. Dokumentaatiota lisätty.
  • 19.9.2012 Lisätty version 0.3 mukaiset kaaviokuvat XML-skeemoista
  • 18.9.2012 Päivitetty mittavasti kaikkia skeemoja. Lisätty ilmoittautumiset-skeema. Versio 0.3
  • 17.9.2012 Tuotu ensimmäiset "julkiset" versiot (opiskelijat, opiskeluoikeudet, opintosuoritukset, tyypit, koodistot). Versio 0.2

XML-tiedoston tarkastaminen skeemaa vasten

XML-tiedoston voi tarkastaa (validoida) lukuisilla tavoilla XML-tiedostoa vastaavaa skeemaa vasten. Validointi tarkoittaa, että tarkistetaan olemassa olevan XML-tiedoston oikeellisuus "yhteisesti sovitun" XML-skeeman mukaisena.

xmllint

VIRTA-projektin yhteydessä on käytetty kehittämisen yhteydessä ohjelmaa xmllint . Ohjelman xmllint löytää vapaasti ladattavana internetistä useistakin paikoista, mutta suosittelemme ohjelman lataamista ohjelman kehittäjän omilta sivuilta:

Edellä mainitusta www-osoitteesta (zlatkovic.com) tarvitaan "paketit":

  • libxml2
  • iconv
  • zlib

Esim. Windows-ympäristössä ladattavat paketit löytyvät edellä mainitun www-osoitteen oikeassa reunassa olevan otsikon "Binaries" alta, josta avautuu tiedostolista, ja josta edelleen ladattavat zip-paketit ovat:

  • libxml2-2.7.8.win32.zip
  • iconv-1.9.2.win32.zip
  • zlib-1.2.5.win32.zip

(Unix/Linux-versiot löytyvät ohjelmien virallisilta sivuilta: http://xmlsoft.org/ [18.12.2012], http://www.gnu.org/software/libiconv/ [18.12.2012] ja http://www.zlib.net/ [23.8.2013].)

Purkamalla ko. zip-paketit ja kopioimalla (tai siirtämällä) bin\-hakemistojen sisältö samaan paikkaan, voi xmllint.exe-ohjelmaa käyttää komentoriviltä ("kehote", Windows: cmd.exe). Ohjelma tulostaa lyhyet omat käyttöohjeet kun ohjelman käynnistää ilman parametreja.

Tyypillisin tarkistustapa VIRTA-projektin XML-skeemojen kehittämisen yhteydessä on ollut:

xmllint-ohjelman käyttöesimerkki
>xmllint.exe --noout --schema "Opiskelijat.xsd" "Opiskelijat esim1.xml"

Esimerkistä on jätetty hakemistopolut tarkoituksella esimerkin siistinä pitämisen vuoksi pois, mutta jos sattuisi kaikki tarvittava olemaan samassa hakemistossa tai esim. xmllint-ohjelma asetettu käyttöjärjestelmän PATH-ympäristömuuttujaan, niin esimerkki luultavasti toimisi suoraan (olettaen tietysti että xml-tiedoston nimi on sama kuin esimerkissä). Tuloksena toivomme ohjelman tulostaman ilmoituksen: "Opiskelijat esim1.xml validates" (hymy). Mikäli virheitä löytyy, xmllint-ohjelma kyllä melko hyvin osaa raportoida epäkohdista!

Suurten XML-tiedostojen (>2 GB) tarkistaminen xmllint-ohjelmalla voi (kirjaimellisesti) kaatua muistin loppumiseen. Xmllint käyttää muistia moninkertaisesti (jopa yli 10x) tarkistettavan tiedoston kokoon nähden. Ongelma poistuu käyttämällä --stream-lippua:

xmllint-ohjelman käyttöesimerkki suurille tiedostoille
>xmllint.exe --noout --stream --schema "Opiskelijat.xsd" "Opiskelijat esim1.xml"
XMLStarlet

Vaihtoehtoinen ohjelma Windows ja Linux ympäristöön on  XMLStarlet :

XMLStarlet-ohjelman avulla onnistuu isojenkin XML-tiedostojen tarkastaminen (onnituneesti on kokeiltu n. 2,34 GB opintosuoritusten XML-tiedostolla).

XMLStarlet-ohjelman käyttöesimerkki
>xml.exe val --err --xsd Opintosuoritukset.xsd Opintosuoritukset.xml

Toivottu tulos: "Opintosuoritukset.xml - valid"


Valmis XMLStarlet-paketti jossa Virran XML skeemat.

validointiOhjelma.zip

Pura validointiOhjelma.zip ja vie validoitava XML samaan hakemistoon.
Aja validointi esim. Virta.xml tiedostolle (ilman lokia, virheet komentorivin ikkunaan): validate.bat Virta.xml

Validointi lokitiedostolla (tässä lokitiedostoon virheet.txt): validate.bat Virta.xml 1>virheet.txt 2>&1


Validointi powershellillä

Powershell-skripti on poistettu 11.9.2017 koska se ei toiminut oikein.



Esimerkki-XML-tiedostoja

Esimerkkitiedostoja löytyy Virta-Opintotietopalvelun GitHub:sta, kuten xml-skeematkin: https://github.com/CSCfi/VIRTA-Opintotietopalvelu

  • No labels