Downloaded 10 times
Tutkimuksen vaikuttavuus päätöksenteossa – mitä tiedetään?
Torstaina 14.10.2021 järjestetyn webinaarin esitykset: 1. Jaakko Kuosmanen, Tiedeneuvonnan kehittämishanke Sofi: Tiedeneuvonta eilen, tänään ja huomenna 2. Antti Pelkonen, valtioneuvoston kanslia: Tutkitun tiedon hyödyntäminen päätöksenteossa – mitä tutkimus kertoo? 3. Reetta Muhonen, Turun yliopisto: Vaikutusten mittaamisesta vuorovaikutuksen tukemiseen
More Related Content
Similar to Tutkimuksen vaikuttavuus päätöksenteossa – mitä tiedetään?
Tutkimuksen vaikuttavuus päätöksenteossa – mitä tiedetään?
- 2. Ohjelmassa Tutkimuksen vaikuttavuus päätöksenteossa– mitä tiedetään Jaakko Kuosmanen, Tiedeneuvonnan kehittämishanke Sofi: Tiedeneuvonta eilen, tänään ja huomenna Antti Pelkonen, valtioneuvoston kanslia: Tutkitun tiedon hyödyntäminen päätöksenteossa – mitä tutkimus kertoo? Reetta Muhonen, Turun yliopisto: Vaikutusten mittaamisesta vuorovaikutuksen tukemiseen Tauko Uusilla vuorovaikutuksen toimintamalleilla kohti kulttuurin muutosta Paneelikeskustelu: Anne-Christine Ritschkoff, STN-ohjelma GROWTH, Pasi Moisio, THL, Heini Kujala, Luonnontieteellinen keskusmuseo ja Kirsi-Marja Lonkila, ympäristöministeriö. Paneelin juontaa Päivi Tikka, Suomen Akatemia Päätöksenteon kulisseissa – tiedon hyödyntäjät ja tutkijat vuoropuhelussa Paneelikeskustelu: Minna van Gerven ja Heikki Hiilamo, Helsingin yliopisto, Maria Höyssä, eduskunnan tulevaisuusvaliokunta sekä Heikki Räisänen, työ- ja elinkeinoministeriö. Paneelin juontaa Risto Alatarvas, valtioneuvoston kanslia. Tilaisuus päättyy 10.00 10.55 11.00 11.40 12.15
- 3. I Tutkimuksen vaikuttavuus päätöksenteossa– mitä tiedetään • Tiedeneuvonta eilen, tänään ja huomenna Akatemiasihteeri Jaakko Kuosmanen, Tiedeneuvonnan kehittämishanke Sofi • Tutkitun tiedon hyödyntäminen päätöksenteossa: mitä tutkimus kertoo? Tiedeasiantuntija Antti Pelkonen, valtioneuvoston kanslia • Vaikutusten mittaamisesta vuorovaikutuksen tukemiseen Kollegiumtutkija Reetta Muhonen, Turun yliopisto
- 4. Tiedeneuvonta eilen, tänään jahuomenna Akatemiasihteeri Jaakko Kuosmanen, Tiedeneuvonnan kehittämishanke Sofi
- 5.
- 6. LINEAARINEN TIEDENEUVONTA YHTEISKEHITTÄVÄ TIEDENEUVONTA KANSAINVÄLINEN TIEDENEUVONTA TIEDE- VÄLITTÄMINEN • tekniset, tarkkarajaiset teemat •kysymys–vastaus-malli • selvärajaiset roolit • päätiede- neuvonantajat • perinteinen tiedeneuvonta
- 7. LINEAARINEN TIEDENEUVONTA YHTEISKEHITTÄVÄ TIEDENEUVONTA KANSAINVÄLINEN TIEDENEUVONTA TIEDE- VÄLITTÄMINEN • tekniset, tarkkarajaiset teemat •kysymys–vastaus-malli • selvärajaiset roolit • päätiede- neuvonantajat • perinteinen tiedeneuvonta • kompleksiset teemat • moni- ja poikkitieteisyys • jatkuva vuorovaikutus • STN • VN TEAS • Horizon 2020
- 8. LINEAARINEN TIEDENEUVONTA YHTEISKEHITTÄVÄ TIEDENEUVONTA KANSAINVÄLINEN TIEDENEUVONTA TIEDE- VÄLITTÄMINEN • tekniset, tarkkarajaiset teemat •kysymys–vastaus-malli • selvärajaiset roolit • päätiede- neuvonantajat • perinteinen tiedeneuvonta • kompleksiset teemat • moni- ja poikkitieteisyys • jatkuva vuorovaikutus • tiedon kokoaminen • laajat toimijaverkostot • paikallisen, kansallisen ja kansainvälisen tason yhteistyö • STN • VN TEAS • Horizon 2020 • IPCC • IBPES • SAPEA
- 9. LINEAARINEN TIEDENEUVONTA YHTEISKEHITTÄVÄ TIEDENEUVONTA KANSAINVÄLINEN TIEDENEUVONTA TIEDE- VÄLITTÄMINEN • tekniset, tarkkarajaiset teemat •kysymys–vastaus-malli • selvärajaiset roolit • päätiede- neuvonantajat • perinteinen tiedeneuvonta • kompleksiset teemat • moni- ja poikkitieteisyys • jatkuva vuorovaikutus • tiedon kokoaminen • laajat toimijaverkostot • paikallisen, kansallisen ja kansainvälisen tason yhteistyö • vuorovaikutuksen fasilitointi • tiedon kuratointi • välittämiseen erikoistuneet toimijat • STN • VN TEAS • Horizon 2020 • IPCC • IBPES • SAPEA • Ympäristötiedon foorumi • Sofi
- 10.
- 11.
- 12. Tutkitun tiedon hyödyntäminen päätöksenteossa– mitä tiedämme tutkimustiedon perusteella? Tiedeasiantuntija, dos. Antti Pelkonen, VNK [email protected] @AnttiPelkonen
- 13. Lähtökohta Keskustelu tutkitun tiedonkäytöstä – erityisesti sen laajuudesta ja yleisyydestä – päätöksenteon tukena kansallisissa konteksteissa perustuu usein… … henkilökohtaisiin kokemuksiin pohjaaviin arvioihin … anekdootteihin pohjaavaan evidenssiin … yksittäisten tutkimusten tai kyselyjen tuloksiin è Kokonaiskuva puuttuu
- 14. Kiinnostuksen kohteena • Mitävoimme sanoa tutkimustiedon käytöstä päätöksenteossa Suomessa olemassa olevan tutkimustiedon perusteella? • Mitä tutkimustietoa päätöksenteossa hyödynnetään Suomessa? Missä määrin sitä hyödynnetään? • Ketkä päätöksenteossa hyödynnettävää tutkimustietoa tuottavat? • Systemaattinen kirjallisuuskatsaus
- 15. Aineisto: Mitä tutkimuksiaon tarkastellaan? Valintakriteerit: 1. Tutkimus tarkastelee tutkimustiedon hyödyntämistä päätöksenteossa. 2. Se on empiirinen, ts. sillä on rajattu tutkimuskohde josta on kerätty empiiristä aineistoa. 3. Tutkimus tarkastelee VN:n tai Eduskunnan valmistelua tai päätöksentekoa 4. Tutkimus on julkaistu vuonna 2010 tai myöhemmin Vertaisarvioitu tutkimuskirjallisuus, mutta myös raportit yms. ”harmaa kirjallisuus” Tutkimuksissa kaksi pääluokkaa: 1. Geneeriset tutkimukset: tutkimustiedon hyödyntäminen VN:n tai eduskunnan valmistelussa tai päätöksenteossa ”yleensä” 2. Politiikkasektorikohtaiset tutkimukset
- 16. Aineisto: Mitä tutkimuksiaon tarkastellaan? Valintakriteerit: 1. Tutkimus tarkastelee tutkimustiedon hyödyntämistä päätöksenteossa. 2. Se on empiirinen, ts. sillä on rajattu tutkimuskohde josta on kerätty empiiristä aineistoa. 3. Tutkimus tarkastelee VN:n tai Eduskunnan valmistelua tai päätöksentekoa 4. Tutkimus on julkaistu vuonna 2010 tai myöhemmin Vertaisarvioitu tutkimuskirjallisuus, mutta myös raportit yms. ”harmaa kirjallisuus” Tutkimuksissa kaksi pääluokkaa: 1. Geneeriset tutkimukset: tutkimustiedon hyödyntäminen VN:n tai eduskunnan valmistelussa tai päätöksenteossa ”yleensä” 2. Politiikkasektorikohtaiset tutkimukset
- 17. Tutkimustieto valtioneuvoston päätöksenteossa javalmistelussa Mitä tiedämme olemassa olevan tutkimuksen perusteella? Eduskunta ja sektoraaliset tutkimukset jäävät tämän esityksen ulkopuolelle
- 18. Tutkimustieto ministeriöiden lainvalmistelussa –Hyödyntämisen yleisyys • Vuoden 2017 hallituksen esityksistä 55 % sisälsi ainakin yhden viittauksen tutkimustietoon (Nieminen ym. 2019, 33). • Laajemmissa lakihankkeissa lähes kaikissa tutkimusviitteitä • Työryhmissä valmistellussa lakihankkeissa suuressa osassa (79%) tutkimusviitteitä • Tutkimuksesta ei käy ilmi kuinka suuressa osassa HE:tä olisi hyödynnetty enemmänkin tutkimusta (ts. enemmän tutkimusviitteitä kuin yksi) • Verrattuna aiempiin tutkimuksiin ”tutkimusviittausten määrä on lisääntynyt noin 20 prosenttiyksikön verran” (s. 55)
- 19. Tutkimustieto ministeriöiden lainvalmistelussa– Minkä tahojen tuottaa tietoa hyödynnetään? (1/2) • Lakihankkeissa hyödynnettävä tutkimustieto on yleensä jo olemassa olevaa tutkimusta, koska uutta tutkimusta ei ehditä tilata. (Slant ym. 2014, 43) • Uutta tutkimusta pyritään tilaamaan erityisesti, jos aihe on ”yhteiskunnallisesti kiistanalainen” tai ”täysin uudenlainen” (s. 45) • ”Kaiken kaikkiaan akateemista tutkimusta hyödynnettiin verrattain vähän” (s. 47).
- 20. Tutkimustieto ministeriöiden lainvalmistelussa– Minkä tahojen tuottamaa tietoa hyödynnetään? (2/2) • ”Jotkin tiedontuottajat ovat saavuttaneet luotetun aseman. Tyypillisesti tällaisia näyttäisivät --- olevan oman hallinnonalan virastot ja tutkimuslaitokset” (Nieminen ym. 2019, 61). • ”Lainvalmistelutyössä tukeudutaan voimakkaasti nimenomaan kunkin ministeriön oman hallinnonalan tutkimuslaitosten asiantuntemukseen.” (Innanen 2015, 68) • Lakihankkeissa tutkimusten ja arviointien osalta ”tiettyihin tahoihin luotetaan selkeästi toisia enemmän”. (Slant ym. 2014, 48) • Luotettavina tahoina pidettiin erityisesti yliopistoja ja valtion tutkimuslaitoksia, konsulttiyrityksiin ja sidosryhmien tuottamaan tietoon suhtauduttiin varauksellisemmin (Slant ym. 2014, 47; Innanen 2015, 69)
- 21. Tutkijoiden edustus ministeriöidentyöryhmissä ja selvitysmiehinä • Tutkijoiden määrä ministeriöiden työryhmissä ja vastaavissa vähentynyt (Holli & Turkka 2020; 2021) • 1980-luvulla tutkijoiden osuus komiteoiden jäsenistä liikkui välillä 5-7 % ja nousi 10-12 %:iin 1990-luvun alkupuolella. • 2010-luvulla tutkijoiden osuus on vähentynyt nopeasti ja samalla tutkijoiden asema heikentynyt. • Tutkijoiden osuus selvityshenkilöistä puolestaan noussut: 1990-luvulla selvityshenkilöistä oli 17 % tutkijoita, 2000-luvulla 27 % (Holli 2016)
- 22. Lopuksi • Näyttäisi siltä,että tutkittua tietoa tutkitun tiedon hyödyntämisestä valtioneuvoston ja eduskunnan päätöksenteossa Suomessa kohtuullisen vähän • Tietopohjaisen päätöksenteon edistämisen tietopohjaisuus? • Kokonaiskuvan muodostuminen? • Tutkimustiedon hyödyntämistä valtioneuvoston ja eduskunnan päätöksenteossa yleisesti tarkastelevissa tutkimuksissa hyvin vähän vertaisarvioituja tutkimuksia • Sektoraalisissa tutkimuksissa enemmän vertaisarvoituja julkaisuja • Aihepiiri kohtuullisen suosittu opinnäytteiden kohde (ml. pro gradut)
- 23.
- 24. Vaikutusten mittaamisesta vuorovaikutuksen tukemiseen ReettaMuhonen Kollegiumtutkija Turun ihmistieteiden tutkijakollegium (TIAS), Turun yliopisto
- 25. Tutkimuksen hyödyn peräänkuuluttaminen •Kuluvana syksynä yksi ajankohtaisimmista tämän päivän aiheeseen linkittyvistä keskusteluista on kulkenut Twitterissä aihetunnisteen ”minätutkin” alla. Kyse on ilmiöstä, joka syntyi vastauksena populistiselle hyökkäykselle, jossa Suomen Akatemiaa kritisoitiin ”hyödyttömien” tutkimusten rahoittamisesta. • Tutkimuksen kohdistuvat populistiset hyökkäykset tuovat esiin vain jäävuoren huipun tutkimuksen yhteiskunnallisten hyötyjen näkyväksi tekemisen haasteista.
- 26. Tutkimuksen yhteiskunnallisen vaikuttavuudennäkyväksi tekemiseen kohdistuu myös tiedepoliittisia vaateita Tiedepoliittisena tavoitteena tutkimuksen yhteiskunnallinen vaikuttavuus on voimistunut viimeisen kahdenkymmenen vuoden aikana Yhteiskunnallinen vaikuttavuus on läsnä niin yliopistojen strategioissa, rahoitushauissa, rekrytointien kriteereissä kuin tutkimuksen arvioinneissa. Väitän, että myös tutkimuksen yhteiskunnallisen vaikuttavuuden arviointikäytännöt perustuvat illuusiolle siitä, että tutkimuksen hyötyjä voitaisiin tehdä kattavasti näkyväksi.
- 27. Vain murto-osa tutkimuksenhyödyistä on tehtävissä näkyväksi Vain murto-osa tutkimuksen yhteiskunnallisesta vaikuttavuudesta ilmenee rahavirtoina, lääketieteellisinä edistysaskeleina tai teknologisina innovaatioina. On kuvaavampaa, että: tutkimuksen yhteiskunnalliset hyödyt väistelevät konkretiaa, ovat diffuuseja, juoksevat karkuun mittareita, eivätkä typisty kausaalisuhteiksi tai poksahtele pikavoittoina.
- 28. Vaikuttavuuden todentamista haastavatasiat Tiede on inkrementaalista eli vaikuttavuuus perustuu tyypillisesti useampien tutkimusten jatkumoon. Attribuution ongelma: vaikutukset voivat olla epäsuoria, hajanaisia, sattumanvaraisia ja hankalasti konkretisoitavissa, esim. maailmankuvan muuttuminen tai kulttuurien välisen vuoropuhelun lisääminen Kausaalisuus: Mitä tapahtuu tutkimuksen vuoksi, mitä jonkun muun syyn vuoksi? Ajallinen viive: esim. tämänhetkinen pandemia nosti aiemmin tehtyjä tutkimuksia uuteen valoon Martin 2007; Bornmann 2013
- 29. Vaikuttavuuden todentamisen haasteet: Inkrementalismi& kausaalisuus, case STN On kuitenkin vaikeaa osoittaa yksittäisen tutkimushankkeen vaikutusta kokonaisen yhteiskunnan resilienssin lisäämiseen: olemme tässä suhteessa osa isompaa muutosprosessia. (WINLAND) Hankkeen tarkoituksena on ollut lisätä ymmärrystä niistä avaintaidoista, joita tarvitaan tulevaisuuden työmarkkinoilla. Vaikka tietoa tärkeistä taidoista ja muuttuvista työmarkkinoista on jo jossain määrin ollut olemassa, tutkimushankkeen myötä olemme tuottaneet laajojen rekisteriaineistojen avulla uutta tutkimukseen perustuvaa tietoa esimerkiksi ei-kognitiivisten taitojen merkityksestä Suomen työmarkkinoilla. (Taidot työhön)
- 30. Vaikuttavuuden todentamisen haasteet:aikajänne, case STN Se, millä tavalla tutkimus vaikuttaa esimerkiksi Suomen ja Ruotsin välisellä raja-alueella tapahtuvaan kehittämistyöhön vaatisi kuitenkin pitkä aikavälin havainnointia. (GLASE)
- 31. Vaikuttavuuden todentamisen haasteet: käsitteellinentiedon hyödyntäminen, case STN Keskeinen vaikuttavuus oli siinä, että päätöksentekijät, varsinkin kansallisilla tasolla ja suurimmilla kaupunkiseuduilla, ymmärtävät paremmin nykyisiin ja tuleviin maahanmuuttajien eriytymiseen vaikuttavia tekijöitä ja millä tavalla alueellinen eriytyminen on yhteydessä kantaväestön ja maahanmuuttajien välisiin suhteisiin ja ilmiöihin asumisessa, työpaikoilla ja vapaa-ajan ympäristössä. (URMI) Työpaketin tutkijat ovat myös suurelta osin olleet mukana nostamassa esiin ja lisäämässä keskustelua turvapaikanhakijoiden mielenterveysasioista ja turvapaikanhakijoiden elämää eräänlaisessa välitilassa. (GLASE)
- 32. Tutkimuksen vaikuttavuuden näkyväksitekeminen ja vaikutusten arviointi, case: sosiologia ja evidenssin vaade Case sosiologian vaikuttavuus ja sen todentamisen ja arvioinnin haasteet (Muhonen & Tellmann 2021) Aineisto: tutkimuksen arviointitarkoituksia varten tuotetut sosiologian alan vaikuttavuusnarratiivit (Iso- Britannia, n = 29, Norja, n = 24). Vaikuttavuustarinoihin sisältyi “evidenssin vaade” Kuvatessaan tutkimuksensa hyötyjä sosiologit käyttivät ilmauksia kuten lisää ymmärrystä, muokkaa nykykeskusteluja, herättää kiinnostusta, esittää ongelmia uudessa valossa ja herkistää päättäjiä. Käytetyt ilmaukset kuvaavat sosiologialle ja ylipäätään ihmistieteille tyypillistä tietämistä yleisluontoisena, laajana ja moninäkökulmaisena verrattuna luonteeltaan eksaktimpiin luonnontieteellisiin aloihin. Sosiologeilla suurin haaste vaikuttavuuden todentamisessa liittyi yhteiskunnallisten muutosten kannalta perustavanlaatuiseen, pidemmän ajan kuluessa ilmenevään tutkimustiedon käsitteelliseen hyödyntämiseen.
- 33. Tutkimuksen vaikuttavuuden näkyväksitekeminen ja vaikutusten arviointi, case: sosiologia ja evidenssin vaade Sosiologit nostivat esille tutkimuksensa vaikutuksina instrumentaalisia, konkreettisia hyötyjä, todennettavissa olevia vaikutuksia, jotka vaikuttivat tutkimusaiheen näkökulmasta toisarvoisilta. Huomiota herättävää oli, että tutkittujen aiheiden näkökulmasta olennaiset yhteiskunnalliset haasteet, kuten eriarvoisuuden vähentäminen, joutuivat tyytymään toisarvoiseen rooliin vaikuttavuusnarratiiveissa. Esimerkiksi eriarvoisuuden dynamiikkoja tarkastelevassa tutkimuksessa yhtenä tutkimuksen yhteiskunnallisena vaikutuksena korostettiin yhteistyösopimusta media- alan yrityksen kanssa. Tutkimuksemme valossa tämä tulos palautui sosiologialle ja yleensä yhteiskuntatieteille ominaiseen käsitteellisen vaikuttavuuden todentamisen dilemmaan, jota tutkimuksen hyötyjen laadullinenkaan raportointi ei pystynyt ratkaisemaan.
- 34. Millaiseen tutkimukseen arviointikäytännöt ohjaavat? Evidenssinvaade: Mikäli arviointi sisältää vaateen evidenssistä (vrt. UK REF ja Norja Sameval), tutkijat (sosiologit) päätyivät raportoimaan toisarvoisia tutkimuksen hyötyjä + vuorovaikutusaktiviteetteja. Sosiologien rooli julkisina intellektuelleina ja suuri yleisö tutkimuksen hyödyntäjänä jäävät vaikuttavuustarinoissa tutkijoiden asiantuntijaroolien ja poliittisen päätöksenteon jalkoihin (Muhonen & Tellmann xxxx) Kun vaadetta evidenssistä ei ole (STN), tutkijat puhuvat monipuolisemmin ja realistisemmin näkemyksistään liittyen siihen, millaisia yhteiskunnallisia vaikutuksia heidän tutkimuksellaan on tai tullee olemaan. → Millaiseen tutkimukseen arviointikäytännöillä halutaan ohjata?
- 35. References Bornmann L. (2013)What Is Societal Impact of Research and How Can It Be Assessed? A Literature Survey. Journal of the American Society for Information Science and Technology 64(2), 217–233. Martin, B.R. (2007) Assessing the impact of basic research on society and the economy. Paper presented at the Rethinking the impact of basic research on society and the economy. WF-EST International Conference, 11 May 2007, Vienna, Austria. Muhonen R. & Tellmann, S (xxxx) Is the role of expert taking over public intellectuals? Roles of sociologists in impact case studies (working title). Handbook of Meta-Research. Alis Oancea, Gemma Derrick, Xin Xu & Nuzha Nuseibeih (eds.). Edward Elgar. Muhonen R. & Tellmann, S. (2021) Challenges in reporting societal impact for research evaluation purposes – case of sociology. Handbook on Research Assessment in Social Sciences. Tim C.E. Engels & Emanuel Kulczycki (toim.) Edward Elgar Publishing. pre-print. Weiss, C. H. (1979) The Many Meanings of Research Utilization. Public Administration Review 39(5), 426–431. Weiss, C. H. (1980) Knowledge Creep and Decision Accretion. Knowledge 1(3), 381–404
- 36. II Uusilla vuorovaikutuksen toimintamalleillakohti kulttuurin muutosta Juontajana johtaja Päivi Tikka, strategisen tutkimuksen vastuualue, Suomen Akatemia • Kaksi uutta vuorovaikutusmallia: Strategisen tutkimuksen tietokumppanuus ja Tiedeneuvonnan kehittämishanke Sofin tiedesparraus Paneelikeskustelu • Tietokumppanuus: ohjelmajohtaja Anne-Christine Ritschkoff (VTT) ja tutkimusprofessori Pasi Moisio (THL) • Tiedesparraus: tutkimustoiminnan erityisasiantuntija Kirsi-Marja Lonkila ympäristöministeriöstä ja yliopistotutkija Heini Kujala Helsingin yliopiston Luonnontieteellisestä keskusmuseosta • Pyydämme chatiin kysymyksiä ja kommentteja panelisteille. Kiitos!
- 37. Tietokumppanuus • tuo yhteentiedon tarvitsijat ja strategisen tutkimuksen ohjelmien toimijat • kumppanuudessa vuoropuhelu tutkijoiden ja tiedonhyödyntäjien välillä on jatkuvaa • kysymyksenasettelu, tietokoosteen kommentointi ja koosteesta viestintä • kumppanuuden tavoitteena on sekä tarjota tietoa päätöksenteon tueksi että vahvistaa tutkijoiden ja päätöksentekijöiden ja tutkijoiden välisiä verkostoja • tietokumppanuutta pilotoidaan sosiaaliturvaa uudistavan parlamentaarisen komitean kanssa • Suomen väestörakenne ja sosiaaliturva -tietokooste julkaistiin syyskuussa 2021 • keväällä 2022 tulossa tietokooste, joka käsittelee elonkehää ja sosiaaliturvaa
- 38. Tiedesparraus = Vuorovaikutuksellista tiedetukeapolitiikkavalmistelulle. Tutkijat ja päättäjät jäsentävät yhdessä kysymyksiä, vastauksia ja kokonaiskuvaa. • Sofi on kehittänyt toimintamallia yhdessä ministeriöiden, etenkin YM:n, kanssa. Toistaiseksi yhteistyötä on tehty kuuden eri ministeriön kanssa. • Tiedesparraus soveltuu erityisesti suuriin, systeemisiin valmisteluteemoihin. • Sofi suunnittelee sparraukset yhdessä lainvalmistelijoiden kanssa, etsii sopivat tutkijat sekä fasilitoi työpajat, joissa pyritään mahdollisimman välittömään ja luottamukselliseen keskusteluun. • Sparraukset rakennetaan ministeriöiden valmisteludokumenttien varaan.
- 39.