[Sorvi-admin] tilastokeskuksen avointen aineistojen url-listaus

[Leo Lahti]

Moi, tarkennus äskeiseen, sainkin luetuksi 761 fileä, eli n. 25%
Tilastokeskuksen matskuista.

Leo

2012/5/8 Leo Lahti <leo.lahti at iki.fi>:
> Terve Juuso ja Joona. Olin yhteydessä Tilastokeskukseen, kun selvisi
> että 2600 avoimesta aineistosta vain 201 oli suoraan R:n pxR-paketin
> funktioilla luettavissa ja muunnettavissa data.frameiksi. Puhuin tuon
> Hansin kanssa myös puhelimessa, ja vaikutti innostuneelta palautteesta
> ja valmiilta auttamaan niiltä osin kuin asioita on helposti
> tehtävissä.
>
> Annoin palautetta myös siitä, että PC Axis-tiedostojen lukuun
> suunniteltu PC Edit-ohjelma toimii vain Windows-puolella, kun taas
> laskenta tyypillisesti unix-ympäristössä.
>
> Alla on tietoa Tilastokeskuksen kaavailemasta vaihtoehtoisesta
> xdf-formaatista mikäli innostutte testaamaan josko näitä saisi
> kätevästi R:n XML-toiminnoilla luettua. Päätin skipata toistaiseksi,
> koska olen ymmärtänyt että suurin osa tiedoista ei olisi vielä tässä
> formaatissa saatavilla.
>
> Leo
>
>
> ---------- Forwarded message ----------
> From: Baumgartner Hans <hans.baumgartner at stat.fi>
> Date: 2012/5/7
> Subject: Re:tilastokeskuksen avointen aineistojen url-listaus
> To: Leo Lahti <leo.lahti at iki.fi>
>
>
> Terve,
>
>
>>Tilastokeskuksen avointen aineistojen urleista ei ole missään koottua
>>listaa. Nähdäkseni, mitä aineistoja on saatavilla, joudun nyt käsin
>>selaamaan läpi Tilastokeskuksen sivuja löytääkseni haluamani urlin.
>
> Tai vaihtoehtoisesti minulle
>>kävisi suora lista avointen PC-Axis-tiedostojen url-osoitteista.
>>Kätevintä olisi, jos tällaisen saisi verkkoon niin, että se päivittyy
>>automaattisesti muutosten yhteydessä,
>
> On olemassa ja päivittyy ajanasaisesti:
> http://tilastokeskus.fi/org/lainsaadanto/avoin_data.html
>
> -----------------------------------------------------------------------------------------------------------
> First time:
> wget -x -S -o logfile_Get_database_first_time.txt -i download-file-list.txt
>
> Updates:
> wget --limit-rate=500k -x -N -o logfile_run_hourly_to_update.txt -i
> download-file-list.txt
> -------------------------------------------------------------------------------------------------------------
> Kun ehdimme konfiguroimme pakkauksen webipalvelimeen niin
> siirtoajat pienenevät kymmenesosaan.
>
>
>
> Olit myös kiinostunut meidän COSSI/XDF XML -tiedostomuodosta
> XDF -tiedostomuodon kuvaus: http://www.stat.
> fi/org/tut/dthemes/drafts/cossi_pxml_en.html
> Esimerkkitiedosto: http://pxweb2.stat.
> fi/database/StatFin/vrm/adopt/010_adopt_tau_101_en_xdf.xml  (beta)
>
>
>
> Tässä luokitustietoja (avain) ryhmittelytiedostoina.
> Tiedostot ovat rakenteisessa muodossa ja ovat siten "koneluettavia".
> Tiedostomuodon dokumentaatio: http://pxweb2.stat.fi/documents/vs_agg.pdf
>
> Esim. äänestysalueet 2003 ryhmittelyt:
> http://pxweb2.stat.fi/database/statfin/Äänestysalueet%202003.vs
> Jossa seuraavat:
> http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit%20ja%20kunnat%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Helsingin%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Uudenmaan%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Varsinais-Suomen%20vaalipiiri%202003.
> agg
> http://pxweb2.stat.fi/database/statfin/-%20Satakunnan%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Hämeen%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Pirkanmaan%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Kymen%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Etelä-Savon%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Pohjois-Savon%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Pohjois-Karjalan%20vaalipiiri%202003.
> agg
> http://pxweb2.stat.fi/database/statfin/-%20Vaasan%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Keski-Suomen%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Oulun%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Lapin%20vaalipiiri%202003.agg
> http://pxweb2.stat.fi/database/statfin/-%20Ahvenanmaan%20vaalipiiri%202003.agg
>
>
> Esim. äänestysalueet 2007 ryhmittelyt:
> http://pxweb2.stat.fi/database/statfin/Äänestysalueet%202007.vs
> Jossa seuraavat:
> http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit%20ja%20kunnat%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Helsingin%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Uudenmaan%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Varsinais-Suomen%20vaalipiiri%202007.
> agg
> http://pxweb2.stat.fi/database/statfin/-%20Satakunnan%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Hämeen%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Pirkanmaan%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Kymen%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Etelä-Savon%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Pohjois-Savon%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Pohjois-Karjalan%20vaalipiiri%202007.
> agg
> http://pxweb2.stat.fi/database/statfin/-%20Vaasan%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Keski-Suomen%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Oulun%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Lapin%20vaalipiiri%202007.agg
> http://pxweb2.stat.fi/database/statfin/-%20Ahvenanmaan%20vaalipiiri%202007.agg
>
>
> Esim. seuraavista samat ...;)
> http://pxweb2.stat.fi/database/statfin/-%20Ahvenanmaan%20vaalipiiri%202011.vs
> http://pxweb2.stat.fi/database/statfin/-%20Varsinais-Suomen%20vaalipiiri%202006.
> vs
> http://pxweb2.stat.fi/database/statfin/-%20Varsinais-Suomen%20vaalipiiri%202011.
> vs
> http://pxweb2.stat.fi/database/statfin/-%20Vaalipiirit,
> %20kunnat%20ja%20äänestysalueet%202008%20kv.vs
> http://pxweb2.stat.fi/database/statfin/-%20Uudenmaan%20vaalipiiri%202011.vs
> http://pxweb2.stat.fi/database/statfin/-%20Uudenmaan%20vaalipiiri%202006.vs
>
>
> Onko tällaisista teille hyötyä?
>
> Palautetta kaivataan ...
>
>
> Hans
>
>
>
> Leo Lahti  (3.5.2012  16:03):
>>Terve,
>>
>>Kehitän suomalaisen yhteiskunnan avointen tietoaineistojen seulomiseen
>>soveltuvia algoritmeja tutkimustarkoituksiin
>>(http://louhos.github.com/). Törmäsin sellaiseen ongelmaan, että
>>Tilastokeskuksen avointen aineistojen urleista ei ole missään koottua
>>listaa. Nähdäkseni, mitä aineistoja on saatavilla, joudun nyt käsin
>>selaamaan läpi Tilastokeskuksen sivuja löytääkseni haluamani urlin.
>>
>>Olisiko mahdollista saada verkkoon html-sivu, jossa kaikki
>>Tilastokeskuksen avoimet aineistot on listattu yhdellä sivulla (eikä
>>vain teemoittain, kuten nyt)? Voisin tällöin parsia html-sivun
>>lähdekoodista nuo tarvittavat urlit. Tai vaihtoehtoisesti minulle
>>kävisi suora lista avointen PC-Axis-tiedostojen url-osoitteista.
>>Kätevintä olisi, jos tällaisen saisi verkkoon niin, että se päivittyy
>>automaattisesti muutosten yhteydessä,
>>
>>
>>ystävällisesti,
>>
>>Leo Lahti (TkT/VTK),
>>Wageningenin yliopisto
>>Alankomaat
>>http://www.iki.fi/Leo.Lahti