[Sorvi-admin] Fwd: tilastokeskuksen avointen aineistojen url-listaus

[Leo Lahti]

Terve Juuso ja Joona. Olin yhteydessä Tilastokeskukseen, kun selvisi
että 2600 avoimesta aineistosta vain 201 oli suoraan R:n pxR-paketin
funktioilla luettavissa ja muunnettavissa data.frameiksi. Puhuin tuon
Hansin kanssa myös puhelimessa, ja vaikutti innostuneelta palautteesta
ja valmiilta auttamaan niiltä osin kuin asioita on helposti
tehtävissä.

Annoin palautetta myös siitä, että PC Axis-tiedostojen lukuun
suunniteltu PC Edit-ohjelma toimii vain Windows-puolella, kun taas
laskenta tyypillisesti unix-ympäristössä.

Alla on tietoa Tilastokeskuksen kaavailemasta vaihtoehtoisesta
xdf-formaatista mikäli innostutte testaamaan josko näitä saisi
kätevästi R:n XML-toiminnoilla luettua. Päätin skipata toistaiseksi,
koska olen ymmärtänyt että suurin osa tiedoista ei olisi vielä tässä
formaatissa saatavilla.

Leo


---------- Forwarded message ----------
From: Baumgartner Hans <hans.baumgartner at stat.fi>
Date: 2012/5/7
Subject: Re:tilastokeskuksen avointen aineistojen url-listaus
To: Leo Lahti <leo.lahti at iki.fi>


Terve,


>Tilastokeskuksen avointen aineistojen urleista ei ole missään koottua
>listaa. Nähdäkseni, mitä aineistoja on saatavilla, joudun nyt käsin
>selaamaan läpi Tilastokeskuksen sivuja löytääkseni haluamani urlin.

Tai vaihtoehtoisesti minulle
>kävisi suora lista avointen PC-Axis-tiedostojen url-osoitteista.
>Kätevintä olisi, jos tällaisen saisi verkkoon niin, että se päivittyy
>automaattisesti muutosten yhteydessä,

On olemassa ja päivittyy ajanasaisesti:
http://tilastokeskus.fi/org/lainsaadanto/avoin_data.html

-----------------------------------------------------------------------------------------------------------
First time:
wget -x -S -o logfile_Get_database_first_time.txt -i download-file-list.txt

Updates:
wget --limit-rate=500k -x -N -o logfile_run_hourly_to_update.txt -i
download-file-list.txt
-------------------------------------------------------------------------------------------------------------
Kun ehdimme konfiguroimme pakkauksen webipalvelimeen niin
siirtoajat pienenevät kymmenesosaan.



Olit myös kiinostunut meidän COSSI/XDF XML -tiedostomuodosta
XDF -tiedostomuodon kuvaus: http://www.stat.
fi/org/tut/dthemes/drafts/cossi_pxml_en.html
Esimerkkitiedosto: http://pxweb2.stat.
fi/database/StatFin/vrm/adopt/010_adopt_tau_101_en_xdf.xml  (beta)



Tässä luokitustietoja (avain) ryhmittelytiedostoina.
Tiedostot ovat rakenteisessa muodossa ja ovat siten "koneluettavia".
Tiedostomuodon dokumentaatio: http://pxweb2.stat.fi/documents/vs_agg.pdf

Esim. äänestysalueet 2003 ryhmittelyt:
http://pxweb2.stat.fi/database/statfin/Äänestysalueet%202003.vs
Jossa seuraavat:
http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit%20ja%20kunnat%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Helsingin%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Uudenmaan%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Varsinais-Suomen%20vaalipiiri%202003.
agg
http://pxweb2.stat.fi/database/statfin/-%20Satakunnan%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Hämeen%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Pirkanmaan%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Kymen%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Etelä-Savon%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Pohjois-Savon%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Pohjois-Karjalan%20vaalipiiri%202003.
agg
http://pxweb2.stat.fi/database/statfin/-%20Vaasan%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Keski-Suomen%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Oulun%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Lapin%20vaalipiiri%202003.agg
http://pxweb2.stat.fi/database/statfin/-%20Ahvenanmaan%20vaalipiiri%202003.agg


Esim. äänestysalueet 2007 ryhmittelyt:
http://pxweb2.stat.fi/database/statfin/Äänestysalueet%202007.vs
Jossa seuraavat:
http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit%20ja%20kunnat%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Helsingin%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Uudenmaan%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Varsinais-Suomen%20vaalipiiri%202007.
agg
http://pxweb2.stat.fi/database/statfin/-%20Satakunnan%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Hämeen%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Pirkanmaan%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Kymen%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Etelä-Savon%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Pohjois-Savon%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Pohjois-Karjalan%20vaalipiiri%202007.
agg
http://pxweb2.stat.fi/database/statfin/-%20Vaasan%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Keski-Suomen%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Oulun%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Lapin%20vaalipiiri%202007.agg
http://pxweb2.stat.fi/database/statfin/-%20Ahvenanmaan%20vaalipiiri%202007.agg


Esim. seuraavista samat ...;)
http://pxweb2.stat.fi/database/statfin/-%20Ahvenanmaan%20vaalipiiri%202011.vs
http://pxweb2.stat.fi/database/statfin/-%20Varsinais-Suomen%20vaalipiiri%202006.
vs
http://pxweb2.stat.fi/database/statfin/-%20Varsinais-Suomen%20vaalipiiri%202011.
vs
http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit,
%20kunnat%20ja%20äänestysalueet%202008%20kv.vs
http://pxweb2.stat.fi/database/statfin/-%20Uudenmaan%20vaalipiiri%202011.vs
http://pxweb2.stat.fi/database/statfin/-%20Uudenmaan%20vaalipiiri%202006.vs


Onko tällaisista teille hyötyä?

Palautetta kaivataan ...


Hans



Leo Lahti  (3.5.2012  16:03):
>Terve,
>
>Kehitän suomalaisen yhteiskunnan avointen tietoaineistojen seulomiseen
>soveltuvia algoritmeja tutkimustarkoituksiin
>(http://louhos.github.com/). Törmäsin sellaiseen ongelmaan, että
>Tilastokeskuksen avointen aineistojen urleista ei ole missään koottua
>listaa. Nähdäkseni, mitä aineistoja on saatavilla, joudun nyt käsin
>selaamaan läpi Tilastokeskuksen sivuja löytääkseni haluamani urlin.
>
>Olisiko mahdollista saada verkkoon html-sivu, jossa kaikki
>Tilastokeskuksen avoimet aineistot on listattu yhdellä sivulla (eikä
>vain teemoittain, kuten nyt)? Voisin tällöin parsia html-sivun
>lähdekoodista nuo tarvittavat urlit. Tai vaihtoehtoisesti minulle
>kävisi suora lista avointen PC-Axis-tiedostojen url-osoitteista.
>Kätevintä olisi, jos tällaisen saisi verkkoon niin, että se päivittyy
>automaattisesti muutosten yhteydessä,
>
>
>ystävällisesti,
>
>Leo Lahti (TkT/VTK),
>Wageningenin yliopisto
>Alankomaat
>http://www.iki.fi/Leo.Lahti