[Sorvi-admin] Tekisittekö datapaketin HS Openiin?

Wed May 9 15:03:31 CEST 2012

Ok. Tehdään näin.

Ei kannata näin pienen ajan takia julkaista erikseen tietoa, jos se tieto ei kuitenkaan ole täydellinen.

Esa

Esa Mäkinen
Toimittaja

Helsingin Sanomat / Kulttuuri
Puh. (09) 122 2581
Gsm 040 3540 371
esa.makinen at hs.fi
Twitter: @EsaMakinen
PL 85, 00089 SANOMA
www.hs.fi
a Sanoma company

-----Alkuperäinen viesti-----
Lähettäjä: lmlahti at gmail.com [mailto:lmlahti at gmail.com] Puolesta Leo Lahti
Lähetetty: 9. toukokuuta 2012 15:58
Vastaanottaja: Mäkinen Esa
Kopio: Juuso Parkkinen; sorvi-admin at lists.r-forge.r-project.org; Antti Poikola
Aihe: Re: [Sorvi-admin] Tekisittekö datapaketin HS Openiin?

Ok, tehdään näin. Ollaan torstaina iltapäivällä yhteydessä ja
katsotaan mikä tilanne. Perjantaiaamuksi viimeistään pitäis kyllä
hyvin onnistua.

Leo

2012/5/9 Mäkinen Esa <Esa.Makinen at hs.fi>:
> Moi,
>
>
>
> Tämä näyttää hyvältä. Paljonhan tuossa on jo käyttökelpoista dataa.
>
>
>
> Ehdottaisin, että julkaistaan torstaina iltapäivällä tai viimeistään
> perjantaina aamulla kaikki se mitä siihen mennessä on kasassa.
>
>
>
> Esa
>
>
>
>
>
>
>
>
>
>
>
>
>
> Esa Mäkinen
> Toimittaja
>
> Helsingin Sanomat / Kulttuuri
> Puh. (09) 122 2581
> Gsm 040 3540 371
> esa.makinen at hs.fi
> Twitter: @EsaMakinen
> PL 85, 00089 SANOMA
> www.hs.fi
> a Sanoma company
>
> ________________________________
>
> Lähettäjä: Juuso Parkkinen [mailto:juuso.parkkinen at gmail.com]
> Lähetetty: 9. toukokuuta 2012 15:49
> Vastaanottaja: Leo Lahti
> Kopio: Mäkinen Esa; sorvi-admin at lists.r-forge.r-project.org
> Aihe: Re: [Sorvi-admin] Tekisittekö datapaketin HS Openiin?
>
>
>
> Moro.
>
>
>
> HS Openiin osallistujille olisi erittäin hyödyllistä saada mahdollisimman
> pian tietoon millaista dataa on tulossa tarjolle, vaikka itse dataa ei
> olekaan heti saatavilla. Eli jos Esa hyväksyt Leon ehdotuksen, siitä voisi
> sitten samantien ilmoittaa osallistujille.
>
>
>
> Ja toki itse datakin pitää saada auki mahdollisimman pian.
>
>
>
> t. Juuso
>
> 2012/5/9 Leo Lahti <leo.lahti at iki.fi>
>
> Moi Esa,
>
> tässä hieman väliaikatietoja HSOpen-vaalidatapaketista (cc:
> sorvi-admin = Juuso Parkkinen & Joona Lehtomäki). Sain 25% (761/2600)
> Tilastokeskuksen avoimista PC Axis-tauluista luetuksi R:llä
> automatisoidusti. Vain osa tauluista sisältää kuntakohtaista dataa, ja
> tällöinkään se ei aina ole yhteen sovitettavissa.
>
> Päädyin lopulta ehdottamaan ratkaisua, jossa Tilastokeskuksen "kuntien
> avainluvut" yhdistettäisiin kuntakohtaisiin vaalitilastoihin. Tällä
> pitäisi jo saada kiintoisa ja helppokäyttöinen datasetti HSOpeniin.
> Tämän hetken drafti on liitteenä (municipality.info.csv), mutta
> tarkoituksena olisi vielä hieman lisätä taulukkoon kuntatason
> vaalidataa vuosien 1996-2012 kunnallis- ja muistakin vaaleista
> Tilastokeskukselta
> (http://pxweb2.stat.fi/database/StatFin/databasetree_fi.asp).
>
> Lisäksi liitteenä on toinen taulukko vaalipiirikohtaista dataa
> (election.region.info.csv). Pistän kuntatason datojen lisäksi tulemaan
> myös tällaisia täydentäviä aineistoja, jos niitä irtoaa matkan
> varrella kätevästi.
>
> Homma on toteutettu niin, että samat aineistot ovat luettavissa
> suoraan R:ään / soRviin, mikäli joku intoutuu testailemaan niiden
> käyttöä HSOpenin yhteydessä.
>
> Saadaan valmiiksi tämän viikon aikana, pistän heti tulemaan kun on
> purkissa. Kerro jos toivot erityistä takarajaa, niin pistän sitten sen
> mitä siihen mennessä on kasassa.
>
>
> Leo
>
>
> 2012/5/8 Mäkinen Esa <Esa.Makinen at hs.fi>:
>> Moi,
>>
>
>> Kuulostaa hyvältä suunnitelmalta, tehdään näin.
>>
>> Mä voin panna kaiken jakoon meidän dynamic.hs.fi -palvelimelle. Kestää
>> isoakin rasitusta, jos tarpeen. Lähetä tiedosto vain mulle, niin hoidan
>> asian.
>
>>
>> Esa
>>
>>
>>
>>
>>
>> Esa Mäkinen
>> Toimittaja
>>
>> Helsingin Sanomat / Kulttuuri
>> Puh. (09) 122 2581
>> Gsm 040 3540 371
>> esa.makinen at hs.fi
>> Twitter: @EsaMakinen
>> PL 85, 00089 SANOMA
>> www.hs.fi
>> a Sanoma company
>>
>> -----Alkuperäinen viesti-----
>> Lähettäjä: lmlahti at gmail.com [mailto:lmlahti at gmail.com] Puolesta Leo Lahti
>
>> Lähetetty: 8. toukokuuta 2012 12:40
>> Vastaanottaja: Mäkinen Esa
>
>> Aihe: Re: Tekisittekö datapaketin HS Openiin?
>>
>
>> Hyviä pointteja.
>>
>> Luulisin, että näilläkin datoilla saa jo kaikenlaista tehdyksi, eli
>> voidaan ottaa tavoitteeksi pistää datat jakoon tällä viikolla.
>> Pistetään se, mitä järkevästi saadaan kasatuksi ja voidaan myöhemmin
>> lisätä, jos Tilastokeskukselta saa vielä lisää vetoapua. Vaikuttivat
>> kiinnostuneilta jeesaamaan niiltä osin kuin on helposti tehtävissä.
>>
>> Yhdistely ei onnistu kaikkien taulujen osalta, mutta voidaan pyrkiä
>> liittämään yhteen datamatriisiin (kunnat x muuttujat) kaikki mitä
>> voidaan. Yksi ongelma tässä on, että sarakkeiden sisällön
>> ymmärtämiseksi joutuu helposti turvautumaan Tilastokeskuksen
>> sivustoon, jossa datasetit kuvauksineen löytyvät vähän sieltä sun
>> täältä. Tsekkaan mitä tältä osin saisi tehdyksi, ja pyrin pistämään
>> huomiseen mennessä lisäinfoa. Hyvähän se olisi, jos ihmiset voisivat
>> HSOpenissa keskittyä jatkoanalyysiin.
>>
>> Onko HS:ltä saatavissa palvelintilaa, jonne aineistot voisi pistää
>> jakoon? Voidaan vielä varmistaa Tilastokeskuksen ok jos halutaan,
>> mutta lisenssi kyllä sallii muokkauksen ja levittämisen nimeä-ehdolla.
>> Toinen vaihtoehto olisi esim pistää aineistot USB-tikuille, ja jakoon
>> HSOpenin aikana.
>>
>> / Leo
>>
>>
>> 2012/5/8 Mäkinen Esa <Esa.Makinen at hs.fi>:
>
>>> Moi,
>>>
>>> Vaikuttaa mielenkiintoiselta. Ei ole tarvetta kääntää CSV-tiedostoa
>>> Exceliksi. Sen verran pitää jengin nähdä vaivaa.
>>>
>>> Kysymys lähinnä olisi, että koska niitä voisi julkaista?
>>>
>>> Toinen ongelmahan on se, että datat pitää jotenkin pystyä yhdistämään
>>> toisiinsa. Perusavaimena voinee käyttää kunnan nimeä, mutta täytynee tehdä
>>> jotkut ohjeet, miten datasettejä yhdistetään Google Docsissa yms.
>>>
>>> Yksi ajatus mulla oli se, että olisi yksi iso tiedosto, jossa on helvetin
>>> monta saraketta kuntakohtaista dataa.
>>>
>>> Esa
>>>
>>>
>>>
>>>
>>>
>>> Esa Mäkinen
>>> Toimittaja
>>>
>>> Helsingin Sanomat / Kulttuuri
>>> Puh. (09) 122 2581
>>> Gsm 040 3540 371
>>> esa.makinen at hs.fi
>>> Twitter: @EsaMakinen
>>> PL 85, 00089 SANOMA
>>> www.hs.fi
>>> a Sanoma company
>>>
>>> -----Alkuperäinen viesti-----
>>> Lähettäjä: lmlahti at gmail.com [mailto:lmlahti at gmail.com] Puolesta Leo
>>> Lahti
>>> Lähetetty: 7. toukokuuta 2012 15:31
>>> Vastaanottaja: Mäkinen Esa
>>> Kopio: juuso.parkkinen at gmail.com
>>> Aihe: Re: Tekisittekö datapaketin HS Openiin?
>>>
>>> Terve Esa,
>>>
>>> Tilastokeskuksen StatFin-tietokannan n. 2600 avoimesta datasetistä
>>> (http://pxweb2.stat.fi/database/StatFin/databasetree_fi.asp) 201 kpl
>>> oli konvertoitavissa automatisoidusti csv-formaattiin. Näissä on
>>> erilaisia tietoja kuntatason sosioekonomisista indikaattoreista,
>>> aiempien vaalien tuloksista/ääniaktiivisuudesta jne. Näillä pääsee
>>> varmasti alkuun. Tilastokeskuksen sivuilta ladattavalla ilmaisella PC
>>> Edit-ohjelmalla pitäisi onnistua loppujenkin tiedostojen luku ja
>>> konvertointi, mutta se pitää käsittääkseni tehdä datasetti kerrallaan
>>> ja toimii vain Windows-puolella. Selvitän tämän vielä.
>>>
>>> Olin Tilastokeskukseen yhteydessä (Hans Baumgartner). Lisenssin
>>> puolesta käytölle HSOpenissa ei ole mitään esteitä. Lupasin pistää
>>> Hansille lisätietoja ongelmallisista tiedostoista - vaikuttivat
>>> erittäin kiitollisilta palautteesta ja saatetaan saada lisää
>>> datasettejä kovertoitua csv:ksi myöhemmin tällä viikolla.
>>>
>>> Excel lukee suoraan csv:tä, joten mielestäni näitä ei kannata alkaa
>>> muuttamaan >200 tiedostoa erikseen excel-fileiksi - en ole selvittänyt
>>> saisiko tämän jotenkin automatisoitua ja epäilen että siinä voi olla
>>> ongelmia.
>>>
>>> Maanmittauslaitoksen kauttaa saa kuntarajat shape-fileinä, meillä on
>>> niihinkin sorvissa luku- ja visualisointirutiineja, lisäksi
>>> OpenGISillä ym:lla pitäisi onnistua kuvien piirtely, jos esim. kuntia
>>> tahdotaan väritellä eri sävyillä datojen mukaan jne. Tällaisista
>>> lähteistä voi saada täydentävää materiaalia datavaaliteemaan.
>>>
>>> Palaan vielä asiaan, kun saan Tilastokeskukselta lisätietoa tällä
>>> viikolla. Kerro, jos tarvitset tässä vaiheessa lisätietoja tai tulee
>>> muita ideoita mieleen.
>>>
>>> Leo
>>>
>>>
>>> 2012/5/3 Mäkinen Esa <Esa.Makinen at hs.fi>:
>>>> Moi,
>>>>
>>>> Mainiota! Jos maksaisimme 300 euroa tästä duunista, olisiko se sopiva?`
>>>>
>>>> Saisitteko ensi viikon alkupuolella, jotta saisimme datat kehittäjille?
>>>>
>>>> Poikolan Anttia voi vielä konsultoida, jos haluaa jotain lisätietoa.
>>>> Antti toivoikin, että pääsisi sanomaan sanansa asiaan. Antti on siis mukana
>>>> HS Openin järkkäilyissä.
>>>>
>>>> esa
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>> Esa Mäkinen
>>>> Toimittaja
>>>>
>>>> Helsingin Sanomat / Kulttuuri
>>>> Puh. (09) 122 2581
>>>> Gsm 040 3540 371
>>>> esa.makinen at hs.fi
>>>> Twitter: @EsaMakinen
>>>> PL 85, 00089 SANOMA
>>>> www.hs.fi
>>>> a Sanoma company
>>>>
>>>> -----Alkuperäinen viesti-----
>>>> Lähettäjä: lmlahti at gmail.com [mailto:lmlahti at gmail.com] Puolesta Leo
>>>> Lahti
>>>> Lähetetty: 3. toukokuuta 2012 11:43
>>>> Vastaanottaja: Mäkinen Esa
>>>> Kopio: juuso.parkkinen at gmail.com
>>>> Aihe: Re: Tekisittekö datapaketin HS Openiin?
>>>>
>>>> Moi, pitäisi onnistua, ja datavaaliasiaa olisi muutenkin nyt hyvä
>>>> saada edistetyksi.
>>>>
>>>> Joidenkin PC Axis-tiedostojen kanssa on ollut ongelmia, mutta ainakin
>>>> iso osa pitäisi saada muunnettua automatisoidusti R:ssä (toinen
>>>> vaihtoehto on ilmeisesti Tilastokeskuksen PC Edit, mutta voi olla että
>>>> sillä pitäisi käsitellä jokainen datasetti erikseen mikä on tietysti
>>>> hankalaa kun aineistoja voi olla kymmeniä tai ehkä satoja). Katsomme
>>>> asiaa lähipäivinä ja palataan tähän viimeistään ensi viikolla.
>>>>
>>>> Leo
>>>>
>>>>
>>>>
>>>> 2012/5/3 Mäkinen Esa <Esa.Makinen at hs.fi>:
>>>>> Terve,
>>>>>
>>>>> Seuraavan HS Openin teema on datavaalit, ja sitä varten tarvitsisimme
>>>>> tilastokeskukselta kuntakohtaista dataa.
>>>>>
>>>>> Olen käsittänyt, että Sorvilla pystyisi hakemaan tilastokeskuksen
>>>>> pc-axis -dataa ja muuttamaan sen toiseen muotoon.
>>>>>
>>>>> Olisitteko halukkaita tekemään hakemaan tilastokeskuksen Stat.fi:stä
>>>>> kaiken kuntia koskevan datan, ja tekemään siitä excel- ja csv-muotoisen
>>>>> tiedoston? Maksaisimme korvauksen tästä.
>>>>>
>>>>> Esa
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>> Esa Mäkinen
>>>>> Toimittaja
>>>>>
>>>>> Helsingin Sanomat / Kulttuuri
>>>>> Puh. (09) 122 2581
>>>>> Gsm 040 3540 371
>>>>> esa.makinen at hs.fi
>>>>> Twitter: @EsaMakinen
>>>>> PL 85, 00089 SANOMA
>>>>> www.hs.fi
>>>>> a Sanoma company
>>>>>
>
>
> _______________________________________________
> Sorvi-admin mailing list
> Sorvi-admin at lists.r-forge.r-project.org
> https://lists.r-forge.r-project.org/cgi-bin/mailman/listinfo/sorvi-admin
>
>