Tekoälyllä on huumorintajua

Keskustelin pitkästä aikaa Chat GPT:n kanssa plagioinnista. Kaikkiin kysymyksiin tuli vakiovastaukset, eli tekoäly osaa luetella samat tekstit kuin mitä korkeakoulut ja TENK julkaisevat. Plagioinnin määrään tekoäly ei osaa vastata. Kysyin vielä tahattomasta plagioinnista, että miten se on mahdollista, kun plagiaattori kuitenkin tietää kopioineensa. Sain vastaukseksi vielä pitkän listan julkipuhetta ja vastasin siihen, että "Any old excuse!" ja arvatkaapas mitä Chat GPT vastasi? Tälläpä onkin huumorintajua, sanoi että "Haha, fair point!"

Opinnäytetöiden olemattomat lähteet

Huhtikuussa (9.4.2024) pidetyssä Praban metodologiaseminaarissa esitin havaintoja opinnäytetöissä lähteenä ilmoitetuista lähteistä, joita ei ole olemassa. 

Lähteiden merkitseminen tekstiin on kirjoittamisen perustaito, jota opetellaan jo peruskoulussa ja jota jatketaan ja tarkennetaan lukiossa. Korkeakoulujen opinnäytetöissä lähdemerkintöjen pitäisi olla tekstissä kohdallaan (=asia on viitatussa lähteessä) ja lähdeluettelossa kirjoittaja kertoo vaaditut tiedot käyttämästään lähteestä niin, että lukija voi itsekin hakea tietoa samasta lähteestä. Käytännössä lähdemerkinnöissä on kuitenkin paljon puutteita ja toisinaan on merkitty lähteeksi sellaisia lähteitä, joita ei löydy mistään. 

Aiemmissa kirjoituksissani olen käsitellyt olemattomia lähteitä esim. tapauksina, joissa kirjoittajien järjestys on vaihdettu, eikä teosta löydy annetulla kirjoittajajärjestyksellä. Jos kirjoittajan nimi on kirjoitettu väärin, teos yleensä löytyy, mutta usein virhe on jäljitettävissä kopioiduksi, eli lähteeksi on tekstissä ilmoitettu teos, jota ei ole luettu. Esimerkkinä tästä on usein toistuva virhe, jossa Hirsjärvi kirjoitetaan väärin Hirsijärvi, ja usein kirjoitusasu vielä vaihtelee tekstissä ja lähdeluettelossa.

Artikkelissa Kämäräinen & Moore 2023: Naturalistic Inquiry-teos YAMK-opinnäytetyöiden ja väitöskirjojen lähteenä (julkaistu teoksessa Kestävä elämänmuoto)  käsittelimme viittausvirhettä, jonka nimesimme tapaukseksi "Mr. Cuba" (herra Cuba ei siis ole mainitun kirjan kirjoittaja). Viittauksissa teokseen Lincoln & Guba (1985) Naturalistic Inquiry toinen kirjoittaja Guba on kirjoitettu lähes yhtä usein väärin kuin oikein. Tämä virhe toistuu kaikentasoisissa teksteissä amk-opinnäytetöistä väitöskirjoihin ja menetelmäoppaisiin.

Kirjoittajat ilmoitetaan väärin - teosta ei ole

Jo työssä ollessani kiinnitin huomion teksteihin, joissa tekstinsisäisenä lähdeviitteenä oli "Aaltola & Valli". Tässä merkinnässä ei tunnisteta kirjoittajaa, vaan on viitattu seuraaviin toimitettuihin teoksiin: Aaltola, J. & Valli, R. (toim). Ikkunoita tutkimusmetodeihin 1. ja 2. Näistä kahdesta menetelmäteoksesta julkaistiin vuosien 2001, 2007, 2010 ja 2015 painokset. 

Tekstissä lähdeviitteenä ”Aaltola & Valli” on aina väärin, heillä ei ollut näissä kirjoissa yhtään yhteistä artikkelia. Esitykseni aikoihin Googlehaulla löytyi tällaisia virheellisiä viittauksia 3560, ja Theseuksessa tällä tavoin väärin viitattiin 2286 valmiissa opinnäytetyössä. Löytyypä tästä kaksin- tai kolminkertaisesti vääriä viittauksia kun sekoitetaan kirjan toimittajien etunimiä ja sukunimiä esim. seuraavasti: 

”(…) kuvaavat vastauksia laajemmin (Aaltola & Raine 2001, 146-147)” (Vallin etunimi on Raine...)
”Raine ja Valli (2015) ehdottavat..” (nyt Aaltola jää puuttumaan 😏)

Vuonna 2018 uudistetut painokset on toimittanut Raine Valli yksin. Viittausmerkinnät menevät vain villimmiksi, kun teoksissa ei esimerkiksi ole Vallin yhdessä Aarnoksen kanssa kirjoittamaa artikkelia, vaikka näin voisi korkeakouluissa julkaistujen tekstien perusteella päätellä. Tästä on esimerkkinä lause (joka ei kieliopillisesti ole lause) vuonna 2020 julkaistusta gradusta, jossa viitataan olemattomaan lähteeseen: 

”Teemahaastattelujen teemojen voivan poiketa eri henkilöiden kohdalla riippuen henkilön asemasta organisaatiossa (Valli & Aarnos 2018, 35– 39).”

Etunimi

Valmiissa opinnäytetöissä on useita tapauksia, joissa tekstin sisäisessä viittauksessa ilmoitetaan kirjoittajan etunimi, ja jos myös lähdeluettelo on tehty etunimillä, lähdeteosta ei välttämättä löydy. Tässäpä esimerkki etunimen käyttämisestä YAMK-opinnäytetyössä. Tekijä (xx) viittaa tässä vuonna 2022 valmistuneessa YAMK-opinnäytetyössään kirjoittajaan nimeltä Paula, jota teosta ei löydy: 

"Paula (2010 cited in xx 2017: 6) defined literature review…”                     

Kirjoittaja siis ilmoittaa viitanneensa Paulaan (2010) amk-tasoisessa opinnäytetyössään ja nyt toiseen ammattikorkeakouluun tekemässään YAMK-opinnäytetyössä hän viittaa uudelleen Paulaan oman vuonna 2017 valmistuneen opinnäytetyönsä kautta. Että tallaista 😕

Tekoäly asialla

Kävin Praba-esityksessäni läpi erästä vuoden 2023 lopussa valmistunutta YAMK-työtä, josta löysin 11 sellaista lähdettä, joita ei ole olemassa. Koko teksti on 45 sivun mittainen, siinä on tekstissä uskomaton määrä, eli 78 sellaista lähdeviittausta, jotka eivät ole lähdeluettelossa. Lisäksi lähdeluettelossa on 25 sellaista lähdettä, joihin ei viitata tekstissä. Jäljet tällaisesta sotkusta johtavat tekoälyyn, joita kirjoittaja ilmoittaa käyttäneensä "tekstin muotoilussa" ja relevantin materiaalin hankinnassa. Lähdeluettelo itsessään on viimeisen päälle siisti ja viimeistelty, vaikka sisältääkin potaskaa.

Laitan tähän loppuun mietittäväksi yhden esimerkin tekoälyn keksimästä lähteestä, tämä on yksi noista yhdestätoista. 

“Munir, R., Mohammad, A.K. and Srivastava, M. (2019). Impact of Leadership Styles on Employee Motivation and Commitment: An Empirical Study. Journal of Management Development, 38(2), pp.120–132.”

Ilmoitettua ja viitattua artikkelia ei löydy otsikolla tai kirjoittajilla hakemalla. Ilmoitetun lehden vastaavilla sivuilla on seuraava artikkeli:

Whysall, Z., Owtram, M. and Brittain, S. (2019), "The new talent management challenges of Industry 4.0", Journal of Management Development, Vol. 38 No. 2, pp. 118-129. https://doi.org/10.1108/JMD-06-2018-0181

***

Suomen korkeakouluissa valmistuvissa opinnäytetöissä hyväksytään olemattomia lähteitä. M.O.T.  

Sopii miettiä, että onkohan opinnäytetyötekstiä lukenut kukaan. Onko ohjaaja lukenut ja antanut palautetta? Onko opinäytetyö ylipäätään tarkastettu vai onko suoritus vain automaattisesti hyväksytty?

Norjan opetusministeri erosi plagioinnin takia

Käyttäjänimi OsloStudenten julkaisi X:ssä 19.1.2024 otteita Norjan opetusministerin (korkeakouluministeri) Sandra Borchin gradusta ja vertaili niitä aiemmin julkaistuihin teksteihin. Samana päivänä lehti E24 analysoi gradua Copyleaks -ohjelman avulla ja julkaisi aiheesta artikkelin otsikolla Deler av forskningsministerens masteroppgave: Identisk med tidligere studenters tekster. Sekä OsloStudenten että lehti E24 julkaisivat tekstivertailuja samaan tapaan kuin mitä itsekin olen käyttänyt, kun olen tehnyt eri korkeakouluihin ilmoituksia julkaistujen opinnäytetöiden sisältämästä plagioinnista. Artikkelissa todettiin Borchin plagioineen useita tekstikappaleita graduunsa, ja jo samana päivänä, kun nämä tekstivertailut julkaistiin, Borch ilmoitti erostaan. Borch valmistui oikeustieteen maisteriksi kymmenen vuotta sitten Tromssan yliopistosta. Hän aloitti opetusministerinä viime syksynä ja opetusministerikausi kesti siten vajaat puoli vuotta. 

OsloStudenten käyttäjänimi kuuluu opiskelija Kristoffer Rytteragerille. Hän on kertonut ärsyyntyneensä siitä, että ministeri Borch vei viime syksynä yhtä opiskelijaa koskevan plagiointiasian korkeimpaan oikeuteen. Eräs ammattikorkeakouluopiskelija on käyttänyt esseessä/kotikokeessa omaa tekstiään uudelleen ja oli saanut rangaistuksen tästä itseplagioinnista: hänet oli erotettu kahdeksi lukukaudeksi. Käräjäoikeus piti rangaistusta riittävänä, mutta Borch vei asiaa eteenpäin ja halusi erottamisen kestoksi neljä lukukautta eli kaksi lukuvuotta. 

Miltäs kuulostaa jos vertaatte asioita Suomeen? Kukaan ei Suomessa ole joutunut eroamaan työstään vaikka olisi hyväksyttänyt gradunaan/YAMK-työnään miten törkeän plagiaatin tahansa. Myöskään luottamustehtävistä ei ole erotettu, vaikka plagoidun opinnäytetyön esittänyt olisi jopa tutkinnon myöntäneen korkeakoulun hallituksessa. Yhtään ammattikorkeakoulun opiskelijaa ei ole määräaikaisesti erotettu plagioinnin vuoksi eikä yhtään plagioitua YAMK-työtä ole hylätty jälkikäteen. Muutamia yliopisto-opiskelijoita on määräaikaisesti erotettu ja yksi gradu hylätty jälkikäteen korkeimmassa hallinto-oikeudessa. Lainsääädännöllisen syyn tähän tiedätte tai jos ette tiedä, niin lukekaa vaikka tämä blogitekstini, jossa on linkki Korkeimman hallinto-oikeuden päätökseen. 

Myös suhtautuminen itseplagiointiin poikkeaa Suomessa muista sivistysvaltioina itseään pitävistä. Esimerkiksi Norjassa tosiaan erotetaan opinnoista kahdeksi lukukaudeksi, jos on kopioinut omaa, itse tekemäänsä tehtävää edelliseltä vuodelta. Suomessa sen sijaan itseplagiointiin suhtaudutaan oikeutena käyttää omaa tekstiä uudelleen ja jopa osana AHOT-järjestelmää. Eräs ammattikorkeakoulu vastasi minulle, että minun olisi pitänyt ottaa selvää opiskelijan nimenvaihdoksesta, kun tuo opiskelija oli tehnyt amk-opinnäytetyön toiseen ammattikorkeakouluun tyttönimellään ja naimisiin mentyään YAMK-opinnäytetyön tähän toiseen ammattikorkeakouluun uudella nimellään - ja tottakai hänellä on oikeus käyttää omaa tekstiään. Tuon erään ammattikorkeakoulun mielestä oli lähes kunnianloukkaus verrata Sirkka X:n tekstiä Sirkka Y:n tekstiin, nimi muutettu 😉 Eräs toinen ammattikorkeakoulu kyllä huomaa ja toteaa YAMK-opinnäytetyössä itseplagioinnin, mutta se ei ole korkeakoulun mielestä vilppiä, koska teko ei ole tarkoituksellinen (!) ja tekijä on merkinnyt itsensä lähteeksi.

***

Norjan opetusministerin eroaminen plagioinnin vuoksi ei juuri ylittänyt uutiskynnystä Suomessa. Helsingin Sanomat mainitsee asian artikkelissa, johon on koottuu Norjan nykyisen hallituksen kaikki seitsemän ministerieroa: Plagiointia, näpistelyä, kaverin suosimista – skandaalisuma piinaa Norjan politiikan huippua. Maailmalla Borchin eroa käsiteltiin eri Euroopan ja USA:nkin medioissa, mm. New York Times julkaisi aiheesta laajahkon artikkelin, jossa leikitellään sillä, että ministeri taisteli plagiointia vastaan ja erosi sitten plagioinnin takia. 

Lyhyt fb-video Borchin tapauksesta on täällä - tähän videon on loppuun liitetty Norjan pääministerin kehotus kaikille ministereille: "tarkastakaa oma gradunne"!

 

Huijaukset julki ja askel eteenpäin

Artikkelini Compromising Academic Integrity in Internationalisation of Higher Education on nyt julkaistu kirjassa Academic Integrity: Broadening Practices, Technologies, and the Role of Students, sivuilla 289-308. Abstraktin voitte käydä lukemassa täältä.

Artikkelin sisällöstä ja sen taustoista olen kertonut aiemmissa blogikirjoituksissani, esimerkiksi helmikuussa 2022 kirjoituksessa MTV-uutiset 15.2.2022, johon olikin tullut mukavasti keskustelua. Tuolloin Arenen toiminnanjohtaja Ida Mielityinen ehti mollata artikkelini menetelmän ja tulokset näkemättä tekstiä. Aiemmin TENK ja TENK:n pääsihteeri Sanna-Kaisa Spoof on yrittänyt vaikuttaa kirjoittamieni, plagiointia käsittelevien  tekstien julkaisemiseen ja myöskin IPPHEAE-projektin Suomen osion tulosten julkaisemiseen. IPPHEAE Suomen raportin ja muidenkin maiden raportit voitte käydä lukemassa täältä. 

(Opetusministerit ja OKM:n väki, tarjouduin jo aiemmin että voin tulla esittelemään tutkimukseni tulokset teille. Nyt kun tämä hieno artikkeli on julkaistu niin toki voitte ne lukea myös julkaisusta.  Ilmoitelkaahan miltä näyttää!)

Mutta asiasta toiseen, tämä vuosi on juhlavuosi! Plagiointi alkoi Suomessa yleistyä, sähköisen julkaisemisen ja tekstitiedostojen jakamisen myötä vuonna 2003, jolloin Laura Huhtasaaren, myöhemmin plagiaatiksi paljastunut gradu hyväksyttiin Jyväskylän yliopistossa. Valmistelen parasta aikaa konferenssiabstraktia nimeltä "20 years of plagiarism in Finnish higher education". Siihen minulla onkin paljon asiaa, kun kokoan kirjoittamisen ja opiskelu/opettajamoraalin muutokset yhteen esitykseen. Plagioinnin lisäksi tulee mukaan myös esimerkki ostetusta opinnäytetyöstä, joissa työn on tehnyt joku muu kuin kirjoittajaksi mainittu opiskelija. Näitä ostetuiksi ajateltuja töitä olen kuvannut sanonnalla "too good to be true". 

Vuodesta 2016 lähtien plagiointitutkimuksessa on puhuttu myös tekoälyn käytöstä esseiden ja opinnäytetöiden kirjoittamisessa. Tekoälyn tuotos ei ole plagiaatti, koska se on aina uusi teksti - mutta ei se ole opiskelijan itsensä kirjoittamakaan, joten huijauksesta siinäkin on kysymys. Tekoäly on kehittynyt taitavaksi tekstin tuottajaksi. Kymmenen vuotta sitten, vuonna 2012 ei vielä puhuttu tekoälystä vaan puhuttiin puppugeneraattoreista. Kirjoitin tänne blogiin otsikolla Kaikenkarvaiset tieteentekijät, kun luin että tällainen silloisen tekoälyn tekemä teksti oli hyväksytty julkaistavaksi tieteellisessä lehdessä. Kokeilin tuolloin Mathgen-systeemiä, ja kissani kirjoittivat artikkelin :) Nyt tekoälysovellukset ovat kehittyneet, ja yhdellä komennolla saa varsin laadukkaan englanninkielisen esseen. Kyselin tekoälyltä plagiointiin liittyviä kysymyksiä ja sain hyvin sujuvaa tekstiä. Tässä esimerkki, kysyin How many students plagiarize in higher education? ja seuraavassa on tekoälyn vastaus. Aika hyvä, eikö vaan?

"It is difficult to determine the exact percentage of students who engage in plagiarism in higher education, as this can vary widely depending on the institution, the subject area, and the specific assignment or assessment. Some studies have estimated that anywhere from a small percentage to a significant percentage of students may engage in some form of plagiarism at some point during their higher education experience.

One study published in the Journal of Business Ethics found that approximately 20% of students admitted to copying and pasting text from a source without proper citation, while another study published in the Journal of Academic Ethics found that approximately 40% of undergraduate students admitted to plagiarizing. However, it is important to note that these studies may not be representative of all higher education institutions and the results may not be directly comparable due to differences in methodology and sample size".

 

Plagioinnin toteaminen on helppoa ja siitä on opiskelijalle - muualla kuin Suomessa - seuraamuksia, mutta ostettujen kirjallisten töiden osoittaminen ostetuiksi on edelleen vaikeaa. Ja tekoälyn tuottamien englanninkielisten tekstien toteaminen tekoälyn tuottamiksi on myös vaikeaa ellei opiskelija vahingossa paljasta tekoaan. Seuraavalla kerralla tekoäly vastaa eri sanoin, eikä esimerkin sanoja tuossa järjestyksessä ole julkaistu missään. Tekoälyn käytön takia englanninkielisellä korkeakoulutusalueella on jo alettu siirtyä esseiden kirjoittamisesta takaisin tentteihin ja suullisiin arviointikeskusteluihin, joissa opettaja tapaa opiskelijansa. Toki Suomessakin on yliopistoissa aloja, joissa toimitaan näin sen jälkeen, kun on huomattu opiskelijoiden itsenäisesti "kirjoittamien" esseiden olevan toinen toisensa kopioita. Asia on opettajan vastuulla, niin kuin on moneen kertaan todettu. Jos opettajan moraali pettää tai osaaminen ei riitä, opiskelija voi saada tutkinnon huijaamalla, ainakin tulosta tahkovissa ammattikorkeakouluosakeyhtiöissä.  

TENK:n kirje lehdelle Journal of Aademic Ethics 3.7.2020

TENK kirjoitti 3.7.2020 lehdelle Journal of Academic Ethics, kirje oli nimetty Erja Mooren artikkelin korjauspyynnöksi.  Kirjeessä ei kuitenkaan nimetty kohtaa, jossa artikkelissa olisi virhe, vaan kirje lähinnä moittii artikkeliani ja toimintaani plagiointitutkijana. Yritin saada TENK:ltä lausuntoa asiasta ja samalla kirjoitin kirjeen sisällöstä täällä blogissa 18.12.2020 otsikolla  Lausuntopyyntö Tutkimuseettiselle neuvottelukunnalle. No, eipä TENK sitten lausunut mitään ja kirjoitin siitäkin lausumattomuudesta 1.4.2021 otsikolla TENK ei lausu - kolme (naista) jääväsi itsensä.

Artikkelini julkaistiin siis vuonna 2019 söhköisenä versiona (paperisena vuonna 2020) ja se  oli käynyt ennen julkaisua läpi referee-menettelyn kuusi kertaa, kaksi arvioijaa ensinnäkin antoi palautteen konferenssiesityksen pitkästä abstraktista, ennen kuin esitys hyväksyttiin konferenssiin. Sitten kaksi refereetä antoi palautteen esityksen perusteella tehdystä artikkelista, joiden perusteella artikkeliani ehdotettiin lehteen Journal of Academic Ethics, jossa artikkeli kävi läpi normaalin arviointimenettelyn (2 refereetä). TENK kuitenkin piti artikkeliani julkaisun jälkeen niin huonona, että he lähettivät tämän alla olevan kirjeen lehdelle ja kirjoittivat siihen useita, lähinnä minua mollaavia  valheita. Kirjeessä on julkaistavaksi tarkoitettu osa ja salassa pidettäväksi tarkoitettu osa, lukaiskaapas alta. 

Etusivulla jo logiikka pettää, ja sävy on lähinnä itkuinen. Kirjoittajat ajattelevat että olen ollut epäreilu paitsi lehteä kohtaan myös TENK:a ja suomalaista HTK-ohjetta kohtaan! On epäreilua, että teen ilmoituksia plagiointiepäilyistä, koska TENK:n mielestä ammattikorkeakoulut olivat jo korjanneet toimintaansa eikä ilmoituksia enää olisi saanut tehdä vuoden 2018 jälkeen. Tässä kirjeessä TENK syyttää minua monista rikkomuksista, mutta TENK ei kuitenkaan ole tämän jälkeen ottanut esille esim. tässä kirjeessä esittämäänsä syytöstä GDPR-rikkomuksesta. Kirjeessä TENK sanoo myös tälle USA:laiselle lehdelle, että Suomessa olisi kahdet eri menettelyohjeet vilpin käsittelyyn, toiset tieteelle ja toiset koulutukselle, mikä on tietysti valhe. Ja kirje päättyy hauskasti: TENK sanoo huomauttaneensa myös IPPHEA-projektia vääristä tuloksista Suomen osalta.

Lehdestä oltiin minuun yhteydessä ja lähetin tietysti vastauksen evidenssin kanssa. Kaikki tekstiäni aiemmin arvioineet kuusi refereetä ja vielä seitsemäs lehden nimeämä uusi referee lukivat artikkelini, eivätkä he löytäneet yhtään korjattavaa virhettä. TENK:n lähettämää kirjettä pidettiin kummallisena (valtiollisena) sensuuriyrityksenä. Lopulta lehti päätyi, minun kanssani neuvoteltuaan, ottamaan toisesta liitteestä nimikirjaimet pois. En tiedä, mitä he kirjoittivat TENK:lle, toivottavasti jotain :)

****

Request for correction concerning the article by Erja Moore published in 2019, titled

Inconsistent Responses to Notifications of Suspected Plagiarism in Finnish Higher

Education, Journal of Academic Ethics (2020) 18:1–16

TO THE EDITOR-IN-CHIEF OF THE JOURNAL

Dear Dr Poff,

We hope this finds you well. We are reaching out regarding the 2019 article by Erja Moore,

which unfortunately includes serious issues. As a body of specialists appointed by the

Finnish Ministry of Education and Culture, the Finnish National Board on Research

Integrity TENK considers it its responsibility to correct certain factual errors and to flag

certain methodological issues in Moore’s article. We respectfully ask that you publish the

corrections we have listed below. TENK is the highest supervisory authority of scientific

misconduct in Finland, and all Finnish universities and universities of applied sciences have

committed to following TENK’s national guidelines under the self-regulatory system that is

in place in Finland.

Erja Moore is not a researcher in any organisation committed to TENK’s guidelines. In

collecting data for her article, Moore made 27 notifications of suspected plagiarism to

Finnish universities of applied sciences. In doing so, she correctly brought up deficiencies in

thesis supervision at Finnish universities of applied sciences. The institutions addressed these

issues as soon as their attention was drawn to said cases of suspected plagiarism, by for

example increasing staff training.

However, Erja Moore’s actions raise certain ethical questions. TENK considers that in

failing to mention her own role as whistleblower, Moore has, on false grounds, taken unfair

advantage of 1) the Journal of Academic Ethics, which published the article, and 2) the Finnish

process for handling suspected violations of responsible conduct of research, in that she

continued to make notifications of suspected plagiarism to universities of applied sciences

even after they had reacted to the issue, in order to collect data for her own purposes.

APPENDED for your perusal is a more detailed itemisation of the problematic issues in

Moore’s article.

Helsinki 3.7.2020

Riitta Keiski Sanna-Kaisa Spoof

Chair, Dean Secretary General, PhD

Finnish National Board on Research Integrity TENK

Further information: sanna-kaisa.spoof@tenk.fi

2

CORRECTIONS (may be published)

The Finnish National Board on Research Integrity TENK considers it its responsibility to

correct certain factual errors in Erja Moore’s 2019 article Inconsistent Responses to

Notifications of Suspected Plagiarism in Finnish Higher Education, Journal of Academic Ethics

(2020) 18:1–16.

Researchers in Finland are bound not only by TENK’s Responsible conduct of research and

procedures for handling allegations of misconduct in Finland (the so-called RCR guidelines),

but also by The ethical principles of research with human participants and ethical review in

the human sciences in Finland. Erja Moore’s article is problematic in light of these

guidelines. TENK is particularly concerned about the following factors:

1. The main ethical problem of the article concerns the atypical data collection

method. The data consists of 28 RCR investigation process documents. The author

fails to mention that she herself acted as the whistleblower in all but one of these

cases. The data consists of the investigation materials of the RCR processes that

were instigated by these notifications. These include for example textual

comparisons made by the author herself.

This type of data collection method is highly unusual and ethically problematic.

TENK hopes that such a data collection method will not become commonly used in

the fields of research that for example the Journal of Academic Ethics represents.

2. With regard to the contents of the published article, we consider it unethical that the

anonymization of the research data is either completely lacking or deficient. This

violates the ethical principles of research in the humanities, which state that the

privacy of the persons included in a study must be protected on publication.

Furthermore, the publication of personal data when the research topic is highly

sensitive by nature is in conflict with the European General Data Protection

Regulation (GDPR). No further details on the matter are included here in order to

protect the research subjects, but a separate appendix has been provided for the

information of the editors of the Journal.

3. The article makes no distinction between academic and scientific misconduct. In

Finland, there are separate processes in place for investigating these two types of

misconduct. All the cases described in the article concern polytechnic master’s

degree theses. For each of the cases, the author has demanded that an RCR process

be initiated, which is highly uncommon, especially regarding old master’s degree

theses.

The Finnish National Board on Research Integrity TENK is a body of specialists appointed by the Finnish

Ministry of Education and Culture. It is a promoter of research integrity and the highest supervisory authority

on scientific misconduct in Finland.

3

APPENDIX: Further details on the unethical aspects of Moore’s article for the

editors of the Journal (not to be published)

1. The author collected the data by acting as an external whistleblower. Between 2018

and 2019, the author made 27 notifications of suspected plagiarism to a total of 15

Finnish universities of applied sciences.1 In 14 cases, being unsatisfied with the

university rector’s decision, the author extended the process by also requesting a

statement from TENK.

2. The anonymization of data is deficient. Appendix 1 of the article gives the real

initials of the authors of the theses that were the subjects of the investigations.

Furthermore, Appendix 2 provides text samples from the authors’ theses. Based on

this information, the identity of the authors of the theses used in the data could be

traced. TENK requests that the text samples in Finnish and other identifying data be

removed from the article, as it concerns a sensitive topic matter.

3. The publication of personal data when the topic matter is highly sensitive by

nature is in conflict with the European General Data Protection Regulation

(GDPR).

4. The article makes no distinction between academic and scientific

misconduct. In Finland, the investigation procedures for suspected misconduct in scientific research on

the one hand and academic studies on the other differ as follows. When misconduct is

suspected in scientific research, the so-called RCR process described in TENK’s guidelines

applies. As for academic misconduct concerning undergraduate studies, universities and

other educational institutions investigate the situations independently.

All the cases described in the article concern polytechnic master’s degree theses. For each of

the cases, the author has demanded that an RCR process be initiated. With old cases, the

rectors of the institutions in question decided not to initiate the process, which is in

accordance with TENK’s RCR guidelines. Only in exceptional cases, for example when

persons of significant social standing are involved, suspicions of misconduct regarding old

theses should undergo the RCR process. This is why the master’s thesis by a Member of

Parliament mentioned in the article was subjected to the RCR process.

Contrary to what the author claims in the article, the theses included in the data are not

research publications. The THESEUS service mentioned by the author is not a publication

database but an electronic repository of publicly available theses and papers from universities

of applied sciences.

1 Additionally, the data includes only one notification of suspected scientific misconduct that was

made by someone other than the author.

4

5. The article makes erroneous interpretations of the Finnish RCR process.

In stating that “[p]reliminary inquiry has replaced investigation proper and this allows the

procedures to remain internal and local,” the author is making an erroneous interpretation of

the Finnish RCR process. The RCR process consists of two stages: the preliminary inquiry

and the investigation proper. In the data collected by the author, it was possible to complete

the investigations within the preliminary inquiry stage. This is in no way uncommon, and

does not mean that the preliminary inquiry replaced the investigation proper. When plagiarism

is suspected in scientific practice, a conclusion can usually be reached already with the textual

comparison carried out during the preliminary inquiry. In most plagiarism cases, the

investigation proper, with its multi-member investigation committee, is therefore

unnecessary.

6. The data collection method of the research is not explained.

In addition to the aforementioned factors, TENK wants to bring up concerns about the

research data more generally. The Methodological Approach section does not describe the

data acquisition process. Therefore it is unclear from what reference group the sample was

selected and on what basis this was done. In other words, it is not clear how these 28 cases

and these particular universities of applied sciences came to be included in the study.

7. The author exaggerates the significance of her own research.

The author describes her research as unique in Finland: “The only national attempt to

clarify the extent of plagiarism is the article dealing with the accuracy of referencing in

theses in which it was found that 12% of theses published in Theseus (Moore 2014)”.

There are academic studies of plagiarism and the use of plagiarism recognition systems in

Finland, including for example these articles published by the Journal of Academic Ethics:

- Löfström, E., Huotari, E., & Kupila, P. (2017). Conceptions of Plagiarism and

Problems in Academic Writing in a Changing Landscape of External Regulation,

Journal of Academic Ethics 15(3), 277–292;

- Löfström, E. & Kupila, P. (2013). The Instructional Challenges of Student

Plagiarism. Journal of Academic Ethics, 11(3), 231–242.

The author would also have had access to a recent report on the prevalence of scientific

misconduct in Finland: Ari Salminen & Lotta Pitkänen: Tutkimusyhteisöissä kaikki hyvin?

Tutkimusetiikan barometri 2018 (“All’s well in the world of research? Research integrity

barometer 2018,” Publications of the Finnish National Board on Research Integrity 1/2019)

https://www.tenk.fi/sites/tenk.fi/files/TENK_Tutkimusetiikan_barometri_2018.pdf.

The author claims that “[p]lagiarism in higher education has been a silenced topic in

Finland”. This is also a false interpretation. TENK publishes information annually on all

plagiarism cases verified by the RCR process in master’s-level theses approved by Finnish

higher education institutions. In this light, it can be stated with confidence that plagiarism is

5

not widespread in Finland, nor does TENK have any ambition to “silence” the truth on the

matter. The author also mentions the report on Finland by Irene Glendinning. This report has many

issues, such as too-extensive conclusions drawn from considerably limited data. TENK

notified the authors of the report of these issues immediately on its publication.

Uusi kirje opetusministereille: Vilpin ja plagioinnin tutkimatta jättäminen

Kirjoitin opetusministereille ja OKM:lle viimeksi 18.10.2022. Vastausta en ole vielä saanut, mutta ajattelin sitä odotellessani kirjoittaa uudelleen. En ole myöskään nähnyt, että edellisessä kirjeessä käsittelemääni Council of Europen antamaa suositusta korkeakouluissa tapahtuvan vilpin ja korruption selvittämisestä olisi Suomessa missään käsitelty - ehkä ministeriön ei sitä tarvitsekaan huomioida. 

Jos ette jaksa lukea koko kirjettä läpi, niin tässä kaksi faktaa: 

- Ruotsin korkeakouluissa todettiin vuonna 2021 1874 plagiointitapausta (Disciplinärenden 2021 vid universitet och högskolor)

-Suomen korkeakouluissa todettiin vuonna 2021 5 vilppitapausta (lienevät plagiointia) ja 3 piittaamattomuutta (TENK Toimintakertomus 2021)

11.11.2022

Hyvät opetusministerit

Kirjoitin teille 18.10.2022. En ole vielä saanut vastaustanne, mutta kirjoitan jo tässä uudelleen. Asiani koskee edelleen Suomessa tapahtuvaa opiskelu- ja tutkimusvilppiä, etenkin plagiointia, ja sen tutkimatta jättämistä. Jos ette ehdi tai avustajanne eivät ehdi lukea Plagiointitutkija-blogiani, jota olen ylläpitänyt vuodesta 2008 alkaen, nostan tässä esiin blogista pari asiaa. Tässä kirjeessä käsittelen Tutkimuseettisen neuvottelukunnan toimintaa ja etenkin toimikautta 2019-2022. Silloin TENK muutti itse omaa toimintaansa ja antoi oman HTK2012-ohjeensa vastaisia lausuntoja. Nyt niitä muutoksia on kirjattu myös lausunnolla olevaan HTK2023-ohjeeseen. Tummennukset tässä kirjeessä ovat tekemiäni, tarkoituksena on herättää ajatuksia siitä, mitä sana tutkimus tarkoittaa -TENK:n nimessä ja muutenkin. 

TENK:n tehtävät

Sanotte OKM:n sivuilla, että ”Tutkimuseettinen neuvottelukunta (TENK) on opetus- ja kulttuuriministeriön (OKM) asettama asiantuntijaelin, joka käsittelee tutkimukseen liittyviä eettisiä kysymyksiä.” Tutkimuseettisen toimikunnan nimessä ja sitä koskevassa asetuksessa on sana tutkimus. OKM:n sivujen mukaan TENK:n tehtäviä ovat: 

1 vahvistaa tutkimuseettisten periaatteiden mukaista toimintakulttuuria,

2 harjoittaa tutkimuseettistä valistusta ja edistää alan koulutusta,

3 kehittää vilppiepäilyjen selvittämisprosessia,

4 tiivistää verkottumista kansallisesti ja kansainvälisesti sekä vaikuttaa alan kansainväliseen kehitykseen,

5 kehittää vuorovaikutteista tiedottamista ja

6 hyödyntää hyviä kansainvälisiä käytänteitä suomalaisessa tutkimuseettisessä kulttuurissa sekä tekee tunnetuksi hyväksi havaittua suomalaista tutkimuseettistä ohjeistusta.

(Viimeisessä tehtävässä mainitsette, että suomalainen tutkimuseettinen ohjeistus on havaittu hyväksi. Kysynkin, että miten ohjeiden hyvyys on havaittu hyväksi? Miten niiden hyvyys ja toimivuus on arvioitu?)

Edellisen tutkimuseettisen toimikunnan kolmivuotinen toimikausi päättyi 31.1.2022. Toimikaudella puheenjohtajana toimi professori, dekaani Riitta Keiski, Oulun yliopisto ja varapuheenjohtaja professori Erika Löfström, Helsingin yliopisto. Neuvottelukunnan jäseniä olivat: 

- Johtava tutkija Kari Hämälainen, Valtion taloudellinen tutkimuskeskus VATT

- Lakiasiainjohtaja Matti Karhunen, VTT

- Kehitysjohtaja Leena Liimatainen, Jyväskylän ammattikorkeakoulu

- Erityisasiantuntija Susanna Näreaho, Metropolia

- Professori Riitta Salmelin, Aalto yliopisto

- Ohjelmajohtaja Sirpa Thessler, Luonnonvarakeskus

- Apulaisprofessori Aleksi Tornio, Turun yliopisto

- Professori Risto Turunen, ltä-Suomen yliopisto

Tällä edellisellä toimikaudella Tutkimuseettinen neuvottelukunta kavensi omaa tehtäväänsä, ja nyt nettisivuillaan TENK määrittelee tehtävänsä eri tavoin ja eri sanoilla kuin OKM omilla sivuillaan. TENK on useassa kohdassa rajannut käsitettä tutkimus sanalla tieteellinen. Kun TENK on itse määritellyt tehtäväänsä uudelleen, se ei enää käsittele tutkimuseettisiä kysymyksiä, ellei tutkimuseettistä kysymystä voi määritellä ”tieteelliseksi”. Olen kirjoittanut tästä muutoksesta blogikirjoituksissani 26.3.2022 ja 26.6.2022. Olkaapas hyvät, käykää lukemassa! (Liitän kirjoitukset teille tämän kirjeen loppuun).

 TENK:n ”tutkimus”/OKM:n puuttuvat tutkimukset

Kun TENK arvioi tutkimusvilpin määrää, se perustaa arvionsa korkeakoulujen ja tutkimuslaitosten ilmoittamiin määriin. Tällä tavoin saadut luvut ovatkin maailman, tai ainakin länsimaiden pienimmät. TENK on käyttänyt tätä samaa lausetta ja diskurssia koko toimintansa ajan, mikä herättää kyllä jo hilpeyttä kansainvälisillä foorumeilla.

Vilpin määrää ei Suomen korkeakoulutuksessa edelleenkään ole tutkittu, eivätkä edelliset opetusministerit tai OKM:n virkamieskunta ole pitänyt asian tutkimista aiheellisena, vaikka olen ehdottanut hyvin monenlaisia tutkimuksia ja tutkimusasetelmia jo vuodesta 2008 lähtien. Jossain tiukassa tilanteessa vuonna 2016 OKM kuitenkin lupasi selvittää asiaa, ja kirjoitin blogissani 10.1.2019 tekstin OKM selvittää vilpin määrän - vai selvittääkö? – Tässäkin julkaisin jo uudelleen kirjoitukseni vuodelta 2016, jolloin lupaus oli tehty. Lupausta ei ole vielä lunastettu vuonna 2022, ja korkeakouluopinnoissa tapahtuva vilppi ja plagiointi on edelleen selvittämättä. Ne luvut, mitä korkeakoulut ilmoittavat itse selvittämistään tapauksista TENK:lle, eivät ole tutkimusta vilpin määrästä, ne ovat lukuja ilmoitettujen tapausten määrästä. En ole nähnyt muita tutkimuksia aiheesta kuin omat analyysini julkaistujen YAMK-opinnäytetöiden sisältämästä plagioinnista. Saamiani tuloksia TENK on väittänyt vääriksi, mutta TENK ei perustele väittämäänsä mitenkään, eikä ole tehnyt hyvän tieteellisen käytännön mukaisesti sellaisia luotettavia tutkimuksia, joilla tulokseni olisi osoitettu vääriksi. Useissa yhteyksissä olen esittänyt OKM:lle, että Ruotsista voisi ottaa mallia siihen, miten korkeakouluissa tapahtuvaa vilppiä ja plagiointia voisi käsitellä. Ruotsissa Universitetskanslersämbetet raportoi vuosittain todetut vilppitapaukset (aiemmin Högskoleverket raportoi).

Li, kanske du kan läsa hur fusk och plagiat i högskolor handlas i Sverige. Om du ger Google ord ”Fusk och plagiat vid högskolor” du vill snart observera, att alla högskolor i Sverige förklarar anfaller av fusk och plagiat varje år, och det har dem gjort sidan början av 2000-talet. Kanske ni också har tid att läsa min presentation i CK2021: What’s new copycat? Alternative facts in interpretations of RCR guidelines in Finland 

Där ni kan finna siffror av fusk och plagiat i Sverige 2019 och 2020. Ni kan läsa mera från Axelsson & Viberg 2021: Disciplinärenden 2019 och 2020 vid universitet ochhögskolor. Rapport 2021:8 Utgiven av Universitetskanslersämbetet. Om ni har även mera tid, ni kan också läsa rapporten Axelsson, Viberg & Kyrk: Disciplinärenden2021 vid universitet och högskolor. Rapport 2022:3 Utgiven av Universitetskanslersämbetet 2022. Till exempel på sidan 8 de säger: ”Den vanligaste orsaken till att studenter blir föremål för disciplinåtgärder har under hela tiden varit plagiat. Detta skedde i 1874 fall 2021 (61 procent av alla ärenden, en ökning från 2020 när andelen var 54 procent)”.

Luettuanne edellä mainitut tekstit, uskotteko todella, että Suomen korkeakouluissa opiskelevat eivät toimi vilpillisesti tai että he eivät plagioi, kuten TENK väittää? Vai voiko kyse olla siitä, että asiaa ei ole tutkittu? Uskotteko, että Suomessa sekä suomalaiset että ulkomaalaiset opiskelijat toimivat eri tavoin kuin Ruotsissa? Ja onko kyseessä uskon asia vai pitäisikö asiaa tutkia?

Mahdollista vilppiä tutkimuksessa on tutkittu Suomessa vain kerran, kun TENK tilasi Vaasan yliopistolta Tutkimusetiikan barometrin, joka toteutettiin vuonna 2019 ja nimettiin jälkikäteen vuoden 2018 barometriksi.

Barometrin toteutuksessa ja raportissa on paljon tutkimuksellisia ja tutkimuseettisiä puutteita. Otsikon sana tutkimus on tekstissä rajattu koskemaan tiedeyhteisöjä ja tieteellistä tutkimustoimintaa. TENK tilasi tutkimuksen, ja Riitta Keiski toteaa barometrin esipuheessa (s. 4), että sitä saatiin mitä tilattiin: ”Kyselyn tulokset vahvistavat sitä TENKin ennakko-oletusta, että Suomessa noudatetaan hyvää tieteellistä käytäntöä varsin hyvin”. Myöhemmin, esimerkiksi lehdelle Journal of Academic Ethics vuonna 2020 lähettämässään kirjeessä, TENK väittää tämän barometrin tulosten perusteella, että Suomen ammattikorkeakouluissa ei ole plagiointia. Barometrissä ei kuitenkaan kysytty mitään korkeakouluopiskelusta tai vaikkapa opinnäytetöistä, mutta se estänyt TENKiä yleistämästä tiedeyhteisöä ja tieteellistä tutkimusta käsitelleen barometrin tuloksia koko korkeakoulusektorille. Yleistys on virhe, eikä sille ole perustetta. 

Mainitsin, että barometrissä oli puutteita. Tutkimuseettinen ongelma on tietysti se, että TENK tilasi tutkimuksen itse ja sai itse odottamansa tutkimustuloksen. Yritin saada tutkimuksen tekijöiltä Ari Salminen ja Lotta Pitkänen vastauksia esittämiini kysymyksiini, mutta en saanut vastauksia. Perustelin kysymyksiäni sillä, että barometrin luotettavuutta ei pysty arvioimaan, koska tavanomaiset perustiedot tutkimuksen tekemisestä puuttuvat. Ei ole tietoa siitä, miten kyselylomake laadittiin, kuka tai ketkä laativat lomakkeen, milloin lomake laadittiin, mihin tieteellistä vilppiä jäsentävään viitekehykseen lomake perustuu, tai miten lomakkeen laadinnassa hyödynnettiin kansainvälisiä, moneen kertaan testattuja lomakkeita. Ei ole myöskään tietoa siitä, miten lomake testattiin, mikä oli tutkimuksen perusjoukko ja sen koko, ja siten ei voida arvioida, mikä oli vastausprosentti. Kaikki mainitsemani seikat ovat korkeakouluopintoihin kuuluvia perusasioita ja niiden kertominen olisi ehdoton edellytys tutkimuksen luotettavuuden arvioinnille. Kyselylomaketta ei julkaistu raportin liitteenä, eikä sitä lähetetty minulle, vaikka pyysin.  Barometrissä kerrotaan, että ”Monivalintakysymyksiä loukkauksen kohteeksi joutumisesta sekä aktiivisista toimenpiteistä, joihin HTK­-loukkausten yhteydessä oli ryhdytty, kritisoitiin. Tästä seurasi myös se, että vastausmäärät näissä kysymyksissä jäivät poikkeuksellisen pieniksi”. Vastaajien mielestä ”niistä puuttui sopiva vaihtoehto, niiden muotoilua ei ymmärretty eikä kysymyksen kohdalla voinut perua vastaamista”. Tällaisen tilanteen olisi tietenkin voinut estää tavanomaisella eettisyyttä ja luotettavuutta vahvistavalla tutkimuskäytännöllä, eli lomakkeen testaamisella riittävällä määrällä vastaajia. Voimassa olevan HTK2012-ohjeen mukaan ”Tutkimukseen sovelletaan tieteellisen tutkimuksen kriteerien mukaisia ja eettisesti kestäviä tiedonhankinta-, tutkimus- ja arviointimenetelmiä. Tutkimuksessa toteutetaan tieteellisen tiedon luonteeseen kuuluvaa avoimuutta ja vastuullista tiedeviestintää tutkimuksen tuloksia julkaistaessa.” – Tätä kriteeriä ei ole noudatettu TENK:n tilaamassa ja julkaisemassa Tutkimusetiikan barometrissa 2018.

Barometriä ollaan TENK:n sivujen mukaan uusimassa: ”Tutkimusetiikan barometrikysely 2022 on tulossa”, ja sivun teksti kertoo, että tämä 2022 barometri toteutetaan vuonna 2023. On siis tulossa uusi barometri, joka toteutetaan vuonna 2023, ja joka otsikoidaan 2022. Tässä noudatetaan samaa epäloogisuutta kuin vuonna 2019 toteutetussa barometrissa, joka julkaistiin vuoden 2018 barometrinä.

HTK2012 ja HTK2023

Tutkimuseettisen neuvottelukunnan HTK2012-ohjeessa mainitaan, että ohjeita sovelletaan ”tutkimusta harjoittavissa organisaatioissa, kuten yliopistoissa, ammattikorkeakouluissa ja tutkimuslaitoksissa” ja sen jälkeen tutkimusta rajataan määritteellä tieteellinen: ”paitsi tieteelliseen tutkimus- ja julkaisutoimintaan myös tieteelliseen työhön välittömästi liittyvään muuhun kirjalliseen toimintaan julkaisumuodosta riippumatta, kuten oppikirjoihin, rahoitus- ja hankehakemuksiin, poster-esityksiin, tieteellisten opinnäytteiden arviointeihin ja niin sanottuihin referee-lausuntoihin. Myös maisteritasoisen, mukaan lukien ammattikorkeakoulujen ylemmät tutkinnot, tai sitä korkeamman oppiarvon saavuttamiseksi tehtyihin tieteellisiin opinnäytteisiin kohdistuvat HTK-loukkausepäilyt tutkitaan näiden ohjeiden mukaan, vaikka opinnäytettä ei olisi julkaistu.” Sitaatissa mainittu sana tieteellinen opinnäytetöiden edeltä on kuitenkin unohtunut ohjeen käännöksistä ja käännökset mainitsevat Master-tasoiset opinnäytetyöt ilman tieteellinen -määritelmää.

TENK on vuodesta 2020 alkaen rajannut tehtävistään pois kaiken muun kuin tieteellisen tutkimuksen. Käsitettä ”tieteellinen” he eivät kuitenkaan ole sen kummemmin määritelleet muutoin kuin kertomalla, että ammattikorkeakoulujen YAMK-opinnäytetyöt (Master’s thesis) eivät ole tieteellisiä eivätkä ne enää kuulu HTK2012-ohjeen piiriin. 

Duaalimallin perusasia on, että ammattikorkeakoulut tekevät soveltavaa tutkimusta ja OKM:lle lähetetyissä tiedoissa YAMK-opinnäytetyöt on tilastoitu ammattikorkeakoulujen TKI-toiminnaksi (ks. Vipunen, hankkeistetut opinnäytetyöt). YAMK-opinnäytetöissä opiskelijat ovat itse nimenneet työnsä tutkimuksiksi, joissa he käyttävät tutkimusmenetelmiä, mutta eiväthän ne tietenkään ole tieteellisiä tutkimuksia, mikä ei ole tarkoituskaan. Ne ovat kuitenkin EQF tason 7 osaamista kuvaavia opinnäytetöitä, ja ovat keskeinen osa ammattikorkeakouluissa suoritettavia ylempiä tutkintoja. Kesken TENK:n edellisen toimikauden, TENKin pääsihteeri Sanna-Kaisa Spoof vieläpä nimesi nämä maisteritasoiset työt (EQF taso 7) harjoitustöiksi, joita HTK-ohje ei koske. TENK myös antoi joillekin ammattikorkeakouluille ohjeen (päätös 15.4.2021 pidetyn kokouksen pöytäkirjassa, ks. blogikirjoitukseni), että epäilyä vilpistä YAMK-työssä ei tarvitse käsitellä HTK-ohjeen mukaan.

Samoin TENK on todennut, että he käsittelevät ainoastaan HTK-ohjeeseen sitoutuneiden laitosten tutkijoita koskevia vilppiepäilyjä, ja näin esimerkiksi Maria Petterssonin julkaisemat tutkimukset historian jännistä naisista eivät kuulu tutkimuseettisen neuvottelukunnan käsittelemien asioiden piiriin. (Kangasniemi 2.11.2022) 

Nyt uudessa lausuntokierroksella olevassa HTK2023-ohjeessa TENK:n toimintaa rajataan edelleen kapeammaksi. Ohjeen päivittämisestä on vastannut TENK:n oma työryhmä, josta ei kerrota enempää. Vastuun ottanee kuitenkin uusi TENK, joka aloitti kolmivuotisen työskentelynsä 1.2.2022. Nyt ohjeluonnoksessa kerrotaan eksplisiittisesti, että ohjeen piiristä jäävät pois ”ammattikorkeakoulututkintojen ja ylempien ammattikorkeakoulututkintojen opinnäytteet sekä yliopistojen alempien ja ylempien korkeakoulututkintojen opinnäytteet ja lisensiaatintyöt.” Koska ammattikorkeakoulujen opinnäytetyöt ovat ammattikorkeakoulujen TKI-toiminnan ydintä, ja ne on rajattu ohjeesta pois, seuraavaa kohtaa ohjeluonnoksessa on vaikeampi tulkita. Taulukossa 2 (Esimerkkejä tieteellisestä toiminnasta, johon sovelletaan HTK-prosessia ohjeeseen sitoutuneissa organisaatioissa) ensimmäinen kohta on ”Tieteellinen tutkimustoiminta ja TKI-hankkeet.” Määrittääkö tässä yksikössä oleva sana tieteellinen myös monikossa ilmoitettuja TKI-hankkeita? Edellä todettiin, että ammattikorkeakoulujen YAMK-opinnäytetyöt eivät ollenkaan kuulu ohjeen piiriin, vaikka ne ovat keskeinen osa ammattikorkeakoulujen ilmoittamaa TKI-toimintaa, mikä puolestaan on yksi merkittävä ammattikorkeakoulujen rahoitusperuste. En löydä haulla ”Tieteellinen TKI-toiminta” mitään, joten jätän tämän mietittäväksenne. Päätöshän on teidän sen suhteen, miten vilppiä ja plagiointia suomalaisessa koulutusjärjestelmässä käsitellään. Lausunnolla olevaa HTK2023-ohjetta ei siis enää sovelleta korkeakoulujen opetukseen ja opiskeluun, opintosuorituksiin tai opinnäytteisiin, eikä henkilöstön mihinkään toimintaan, joka ei ole ”tieteelliseen toimintaan välittömästi liittyvää”.

Kysymyksiä mietittäväksi

Teille opetusministereille annan mietittäväksi, mitä TENK:n asema ja tehtävät ovat 2020-luvun kansainvälisessä ja digitalisoituvassa korkeakoulutuksessa. Toimiiko vielä 1990-luvun hallinnollinen rakenne vai olisiko jo uudistusten aika. Tulisiko asetusta TENK:sta ja TENK:n nimeä muuttaa ja nimetä toimikunnan nimeksi Tiede-eettinen toimikunta tai Tieteellisen tutkimuksen eettinen toimikunta vastaamaan sitä, millaiseksi he ovat itse toimintansa rajanneet? Nyt TENK:n toiminta ja HTK-ohjeistus ei enää käsittele tutkimusta vaan tiedettä (tieteellisyyttä sen tarkemmin määrittelemättä).

Vai onko ylipäätään edelleen järkevää satsata laaja rahoitus TENK:lle, vaikka he käsittelevät vain hyvin kapeaa osaa Suomessa tehtävästä tutkimustoiminnasta ja ohjeet koskevat vain pientä osaa ohjeeseen sitoutuneiden korkeakoulujen ja laitosten tutkimusta tekevästä henkilökunnasta. Tieteellistä tutkimusta tehtäneen lähinnä yliopistoissa ja Suomen Akatemian rahoittamissa projekteissa, vai miten itse määrittelisitte käsitteen ’tieteellinen tutkimus’? Jos vertaatte asiaa vaikkapa Tilastokeskuksen noudattamaan kansainväliseen määritelmään, joissa t&k on yläkäsite, joka kattaa sekä perustutkimuksen että soveltavan tutkimuksen, huomaatte, että korkeakoulujen osuus tutkimusmenoista vuonna 2021 oli vajaa neljännes. Jos tuosta otetaan vielä pois ammattikorkeakoulut ja yliopistojen koulutustehtävässä tapahtuva tutkimus, niin miten pientä osaa tutkimusta ja tutkijoita HTK-ohje itse asiassa koskee? TENK:n tekemillä rajauksilla HTK-ohje ei sido vaikkapa teitä itseänne, tai ministeriöiden ja ylipäätään valtion, kuntien, yritysten tai yhdistysten palveluksessa olevia tutkijoita, tai yritysten näille tahoille tekemiä tutkimuksia. Siis, HTK-ohje ei koske pääosaa tutkijoita/tutkimusta tekeviä.

 Tilastokeskus ei tietenkään käytä sanan ’tutkimus’ edessä sanaa ’tieteellinen', mutta jos te tai vaikka TENK määrittelisitte ’tieteellisen tutkimuksen’, niin todennäköisesti se sisältyisi käsitteeseen ’perustutkimus’. Tilastokeskus ei myöskään käytä OKM:n vuodesta 2010 käyttämää käsitettä ’TKI’, jonka ARENE edellisenä vuonna lanseerasi ammattikorkeakoulujen käyttöön. ARENE:n moniste Ammattikorkeakoulujen tutkimus-, kehittämis- ja innovaatiotoiminta vuodelta 2009 ei näytä enää olevan julkinen, mutta olette OKM:ssa ottaneet tekstin ja käsitteen käyttöön vuonna 2010 julkaisussa Ammattikorkeakoulujen tutkimus-,kehittämis- ja innovaatiotoiminta innovaatiojärjestelmässä.  

(Kirjoitin TKI-käsitteen käyttöönotosta vuonna 2010 artikkelissa Väistö & Moore: SOSIAALI- JA TERVEYSALAN KESKUKSEN TKI-TOIMINNAN KEHITTYMINEN 2000-LUVULLA) 

Vai olisiko jo aika hylätä vanhoillinen ja byrokraattinen (kansainvälisissä konferensseissa ”Soviet-style” määritelmän saanut) TENK ja rikosoikeudellista käsittelyä mukaileva HTK-prosessi ja alkaa tarkastelemaan toisaalta koko t&k -sektorin toimintaan liittyviä eettisiä kysymyksiä ja toisaalta opetukseen ja opiskeluun liittyvää vilppiä, vaikkapa Ruotsin malliin? Edellisessä kirjeessäni käsittelin Council of Europen ministerikomitean julkaisemaa suositusta, jonka ajatellaan auttavan jäsenvaltioita koulutuksessa tapahtuvan vilpin ja korruption käsittelyssä. Olisiko OKM:ssa nyt aika lopulta aloittaa koulutussektorilla tapahtuvan vilpin ja plagioinnin tarkastelu ja liittää se tämän suosituksen toimeenpanoon - vai käsittelettekö ylipäätään mitenkään tuota suositusta?

Vuonna 2012 pitämässäni esityksessä tulin ehdottaneeksi ”hyvän tutkimuksen ja kehittämisen käytännön” käyttöönottoa, mutta eihän tuo esitykseni ole kymmenen vuoden aikana saanut kannatusta. Tarkastelin silloin ”yliopistoissa ja ammattikorkeakouluissa tehtävää t&k-työtä, sen määrittelyä, rahoitusta ja laatua. Tutkimuseettisen neuvottelukunnan laatima Hyvä tieteellinen käytäntö -ohjeistus on etenkin opiskelijoille etäinen ja vaikea ymmärtää. Tässä esityksessä ehdotetaan, että kukin korkeakoulu laatii itselleen ohjeistuksen "Hyvä tutkimuksen ja kehittämisen käytäntö". Esitykseni on julkaistu SlideSharessa. Vilkaiskaapas, ei se vielä ole vanhentunut.

Lopuksi toistan edellisessä kirjeessäni sanomani: Tulen mielelläni esittelemään teille tutkimusnäyttöä Suomen ammattikorkeakouluissa tapahtuvasta opiskeluvilpistä ja plagioinnista ja annettujen tutkintojen, sekä suomenkielisten että englanninkielisten, laadusta. Olen seurannut vilpin lisääntymistä korkeakoulutuksessa vuodesta 2005 alkaen, ja olen julkaissut useita tieteellisiä artikkeleita. Viimeisin tutkimukseni osoittaa, että Suomessa vilppi ja plagiointi on arkipäivää ja että korkeakoulutuksen kansainvälistymisen myötä Suomesta voi valmistua maisteriksi huijaamalla, eli plagioimalla tai ostamalla englanninkieliset opintosuoritukset. Mielelläni esittelen teille aitoja esimerkkejä siitä, millaista plagiointi on YAMK-opinnäytetöissä.

Erja Moore

P.S. Julkaisen tämän blogissani, niin kuin aiemmatkin kirjeeni OKM:lle.

Kirje opetusministereille, ja tässä myös teille muille

Eilen Hesarin lukijan mielipiteenä julkaistiin lukijoiden Li Andersson ja Petri Honkonen allekirjoittama Korkeakoulujen valintaperusteita on uudistettava vastuullisesti. Luin kirjoituksen kahteen kertaan ja mietin, että tekstin sisältö oli kuin 1990-luvulta (on yliopisto, on nuori, on pääsykoe, on pisteytys). Keskustelussa tekstiä kummasteltiin, ja Marja Jylhä totesikin kommentissaan osuvasti: "Oli vaikea saada selvää, mitä ministerit oikein tahtoivat sanoa." Tätä mietin minäkin, ja samalla mietin että ovatkohan nämä avustajakunnan "innovoimia" ajatuksia, jotka kaupattiin ministereille. Muutenkin kannattaa lukea tuo Jylhän kommentti. 

Kun eilen pähkäilin tätä kirjoitusta, niin päätin (taas kerran) kirjoittaa ministereille, ja lupasin julkaista kirjeeni myös täällä blogissa. Olkaapas hyvät!

Hyvät opetusministerit Li Andersson ja Petri Honkonen, ja tiedoksi myös Tuomo Puumala

 

Olette tänään saaneet julkaistua mielipidekirjoituksen Hesarissa. Kirjoituksessa käsittelette korkeakoulujen opiskelijavalintoja, pitkälti ylioppilastutkinnon pisteytyksen kautta. Pääasiassa kirjoituksessanne keskitytte nuoriin, jotka hakevat yliopistoihin. Toki mainitsette myös avoimen väylän. Ette ehkä muista aikaa, jolloin sana ”nuori” oli vielä yliopistolaissakin; se vaihdettiin sanaksi opiskelija 1990-luvun lopulla, kun tutkimukseni korkeakoulutuksen aikuistumisesta (adultification of higher education) valmistui. Silloin pääsin jopa esittämään tutkimustuloksiani silloiseen opetusministeriöön, eli silloin oli tapana kuulla tutkijoita asioiden valmistelussa. 

Kirjoituksestanne puuttui korkeakoulutuksen kansainvälistyminen (internationalisation of higher education). Suomessakin valitaan korkeakouluihin vuosittain runsaasti opiskelijoita, joiden äidinkieli ei ole suomi, ja noin 10% korkeakouluopiskelijoista puhuu äidinkielenään muuta kuin suomea tai ruotsia (foreign language speaking students). Suomen korkeakoulut järjestävät englanninkielisiä koulutuksia, joihin myös äidinkielenään suomea/ruotsia puhuvat voivat hakea (internationalisation at home). Hakijoita on sekä EU:sta että EU:n ulkopuolelta, ja pääsy korkeakouluun vaikkapa etävalinnan kautta on samalla pääsy EU:n alueelle, ja tällaiseen etävalintaan voi liittyä vilppiä. Toisaalta moneen ammattikorkeakoulun YAMK-koulutukseen pääsevät kaikki hakijat, eikä mitään pisteytyksiä tarvita. 

 

Tällä kirjeelläni pyydän teitä miettimään, paitsi koulutusvalintojen, myös korkeakoulutuksen laatua, ja vilpillisiä käytäntöjä opiskelijavalinnoissa ja opintosuorituksissa. Tulen mielelläni esittelemään teille tutkimusnäyttöä Suomen ammattikorkeakouluissa annettujen tutkintojen, sekä suomenkielisten että englanninkielisten, laadusta. Tutkimukseni perustuvat suoraan julkaistuissa YAMK-opinnäytetöissä (EQF taso 7) havaitsemaani vilppiin, minkä perusteella voi arvioida ammattikorkeakoulujen laatua. Tutkimukseni eivät perustu valikoitujen opiskelijoiden tai opettajien kokemuksiin tai käsityksiin osaamisestaan, kuten esimerkiksi KARVIn tekemissä arvioinneissa. Ensi kuussa julkaistaan artikkelini Compromising academic integrity in internationalisation of higher education, jossa osoitan, että merkittävä osa Suomen ammattikorkeakoulujen englanninkielisistä Master's theses/YAMK-opinnäytetöistä on vilpillisiä. Tutkimukseni perustuu satunnaisotantaan Theseuksessa julkaistuista YAMK-opinnäytetöistä, ja jos pääsisin tutkimaan myös niitä opinnäytetöitä, joita ei ole julkaistu, tulos olisi hyvin todennäköisesti vielä paljon huonompi. Esimerkiksi XAMK jättää julkaisematta jopa puolet YAMK-opinnäytetöistä. Jos ottaisitte minut vastaan, voisin esittää, miten täysin plagioidulla työllä on suoritettu kansainvälinen maisterin tutkinto vaikkapa Haaga-Heliassa, HAMK:ssa, Laureassa ja XAMK:ssa.

Olen aiemmin ollut yhteydessä opetus- ja kulttuuriministeriöön useita kertoja, vuodesta 2008 lähtien, mutta esityksiäni tutkimuksen aloittamisesta vilpistä korkeakoulutuksessa ei ole pidetty sellaisina, että niihin olisi alettu edes miettiä rahoitusta. Voitte lukea tapahtumista ja tutkimushankehakemuksistani Plagiointitutkijan blogistani: http://plagiointitutkija.blogspot.com/

Esitän vielä yhden asian. Council of Europen ministerikomitea julkaisi 13.7.2022 46 jäsenvaltiolle suunnatun suosituksen, jonka ajatellaan auttavan koulutuksessa tapahtuvan vilpin käsittelyssä. Te ministerit tunnette suosituksen. Recommendation CM/Rec(2022)18

of the Committee of Ministers to member States on countering education fraud

Otsikossa on sana fraud, jota on Suomessa vältetty eettisten kysymysten yhteydessä. Fraud on petos ja petos on Suomessa varattu rikoslain käyttöön. TENK välttelee suomenkielisessä HTK-ohjeistuksessaan petos -sanaa, mutta se on livahtanut ohjeen englanninkieliseen käännökseen, esim. TENK:n tehtäviin ”as well as identifying and preventing fraud and dishonesty in all research” (s 28) ja TENK ei lupaa käsitellä epäiltyä asiaa ”if these violations do not at the same time constitute a fraud as described in the RCR guidelines”. Fraud-sanaa ei kuitenkaan käytetä HTK-ohjeessa loukkausten kuvailussa, joten on vaikeaa varmasti sanoa, mitä fraud TENK:n ohjeissa tarkoittaa. Oletan että vilppiä, mitä plagiointikin on.

Suositusta esitellään Council of Europen sivuilla seuraavalla otsikolla: For a quality education free of fraud and corruption – a new Recommendation adopted by the Committee of Ministers. Sivuille tiivistetyt kuusi suositusta ovat seuraavat (oma käännökseni, en pikahaulla löytänyt tätä suositusta käännettynä):

• edistää koulutuksen laatua poistamalla koulutuksessa tapahtuvat petokset

• suojella oppilaita, opiskelijoita, tutkijoita ja henkilöstöä kaikilla koulutustasoilla sellaisilta organisaatioilta ja henkilöiltä, jotka myyvät (ja mainostavat) vilpillisiä (fraudulent) palveluita; (contract cheating, helppo ostaa tekstejä ja suorituksia noin 2000 eri yritykseltä, jotka tarjoavat näitä palveluja. Toki Suomessakin on kirjoituspalveluja)

• tarjota tukea ennaltaehkäisevien ja suojaavien toimenpiteiden toteuttamiselle, sekä yhtäläisten mahdollisuuksien kulttuurille kaikilla koulutustasoilla ja kaikilla aloilla, ja tarjota koulutusta siirtymävaiheessa näiden alojen välillä (tämä viimeinen lause on vaikea, mitähän tuo tarkoittaa käytännössä? mitä koulutusta?)

• seurata teknologian kehitystä, joka voisi tukea uusia petosmuotoja; (tässä tulisi pikaisesti ottaa huomioon AI, jonka avulla nyt on helppo hetkessä tehdä tehtäviä, esseitä ja varmaan opinnäytetöitäkin, ainakin englanniksi. Contract cheating -yritykset tarjoavat nyt myös näitä tekoälyn tekemiä tekstejä.)

• helpottaa alan kansainvälistä yhteistyötä;

• tukea suosituksen laajaa levittämistä.

 

Suositus määrittelee seuraavat käsitteet: education fraud, plagiarism, different types of providers of fraudulent documents such as diploma, accreditation and visa “mills” as well as essay banks. (Olen näistä kaikista, pl visa mill, kirjoittanut blogissani aiempina vuosina.)

Koulutus käsitellään laajana: koulutukseen pääsy, kaikki koulutuksen tasot ja toteutusmuodot, offline ja online, esiopetuksesta korkeakoulutukseen, mukaan lukien ammatillinen koulutus ja elinikäinen oppiminen. Yksi tärkein suositus on kiinnittää huomiota vilpillisten palveluiden mainostamiseen, mikä tapahtuu internetin ja sosiaalisen median kautta. (Yleiskäsite Contract cheating, ks blogini) Kansainvälistä yhteistyötäkin pitäisi tehdä, aluksi pitäisi kansallisesti seurata vilppiä koulutuksessa, pitäisi seurata transnationaalista vilppiä ja vaihtaa tietoja.  

- Minun ensi kuussa julkaistava tutkimukseni vastaa juuri tähän suosituksen viimeiseen kohtaan. Osoitan, että plagiointi on osittain transnationaalista ja kansainvälistä. Suomen amk:ssa opinnäytetöiden tekstiä ja lähteitä on avoimesti kopioitu jopa opintosuorituksia myyvän yrityksen sivuilta. 

Mitä sitten yksi plagiointitutkija voisi teille tarjota? Olen seurannut vilpin lisääntymistä korkeakoulutuksessa vuodesta 2005 alkaen. Olen tutkinut ammattikorkeakoulujen opinnäytetöiden sisältämää plagiointia, olen julkaissut useita tieteellisiä artikkeleita. Ja viimeisin tutkimukseni osuu tosiaan tuon suosituksen viimeiseen kohtaan: osoitan miten plagiointi on kansainvälistynyt.

Miten tutkimukseeni on Suomessa vastattu? Huonosti. Minut irtisanottiin yliopettajan tehtävistä Karelia-ammattikorkeakoulusta vuonna 2014 juuri samaan aikaan kuin artikkelini plagioinnin yleisyydestä oli julkaistavana. TENK on kyseenalaistanut toimintani ja tutkimukseni monessa eri yhteydessä, esimerkiksi juuri ennen irtisanomista, vaikka ei ole pystynyt osoittamaan teksteistäni yhtään virhettä. Plagioinnin käsitettä on hämärretty kietomalla käsittelyyn tahallisuus/tahattomuus, laajuus/suppeus, tekstin laji, kirjoittajan asema, jne. ikään kuin plagiointi olisi eri asia eri yhteyksissä tai että se jollakin koulutusasteella tai jossakin tekstissä olisi hyväksyttävää.

Plagioinnin ja muun vilpin käsittely kuuluu Suomessa TENK:n HTK-ohjeen piiriin, jos kyseessä on vähintään EQF7-tasoa oleva teksti. Kaikki muut tekstit käsitellään (=jätetään käsittelemättä) koulutusorganisaatioiden sisällä. Vielä vuonna 2018 TENK aluksi noudatti omaa jäykkää ja byrokraattista HTK-ohjettaan myös ammattikorkeakoulujen osalta, mutta on sittemmin ohjeistanut ainakin joitakin ammattikorkeakouluja niin, että jos kyseessä ei ole tieteellinen teksti, plagiointiepäilyä ei tarvitse käsitellä.

Lähteet puuttuivat Petterssonin edellisestä kirjasta

Suomen historian jännät naiset (2022) taitaa olla kirjaston suosikkilainojen joukossa tänä syksynä, jonotan sitä muiden mukana Vaarakirjastoista. Kun tämä uusi kirja ei ollut lainattavissa niin lainasin Petterssonin kaksi vuotta sitten julkaiseman kirjan Historian jännät naiset (2020). Aloin sitä lukemaan; kirja on komea, ulkoasu kuvineen on näyttävä, teksti kulkee ja on helposti luettavaa tarinaa. Kirjasta on melko laaja esittely kustantajan sivuilla, tekstiäkin voi lukea jonkun verran tästä esittelystä: https://kauppa.atena.fi/onix/media/2701960

Kun kohu uudesta kirjasta Suomen historian jännät naiset on käynnissä, niin aloin etsiä tästä kaksi vuotta sitten ilman otsikon "Suomen"-sanaa ilmestyneestä kirjasta lähteitä, kun itse kohukirjaa en saanut vielä lainattua. Mihin tietoon ja mihin lähteisiin perustuu tämä kooste lähes sadan merkittävän naisen lyhytelämäkerroista? No eivät ne perustu mihinkään, tässä 500-sivuisessa kirjassa ei ole lähteitä. Ainostaan yksi Shakespeare sitaatti on ilmoitettu olevan aiemmin julkaistusta suomennoksesta. 

Lähteiden puute oli huomattu jo tämän ensimmäisen Historian jännät naiset -kirjan eri kirja-arvosteluissa. Esimerkiksi Karoliina Sjön kirjoittamassa arvioinnissa otetaan esille selkeästi ne kysymykset, josta nyt uudemman teoksen kohdalla puhutaan. Sjö otsikoi tuolloin arviointinsa: Pitääkö historian olla jännää ja minkä kustannuksella? Tämä on hyvä, rauhallinen ja perusteltu kirjoitus, käykäähän lukemassa!

Mistä kuva?

Takaisin itse kirjan pariin (Historian jännät naiset, 2020). Kuvia on paljon, niissä ei kerrota tavalliseen tapaan kuvan omistajaa/lähdettä (näette esimerkin kuvien esittämisestä yllä mainitusta linkistä). Kirjassa on kuitenkin kolmesivuinen Kuvalähteet -luettelo. Osalle kuvista on tässä luettelossa annettu nimi ja lähde. Mutta, usein lähteenä on vain Wikimedia Commons tai jopa vain Creative Commons. 

Esimerkiksi sivun 268 kuvasta sanotaan vain: "Creative Commons". Sivulla 268 on Maria Pariisilaisen kuva. Creative Commonsin hausta ei löydy kuvaa nimellä Maria Pariisilainen, ei myöskään nimellä Jelizaveta Pilenko. Google Lens -haulla kuva löytyy Pinterestistä, Mother Maria Skobtsova (St Maria of Paris) merkinnällä, että tekijänoikeudet saattavat rajoittaa kuvan käyttöä. Sama kuva samalla nimellä on myös Flickr-palvelussa, jossa Jim Forest ilmoittaa skannanneensa kuvan printistä, jonka oli saanut Fr Sergei Hackelilta, joka oli kirjoittanut kirjan "Pearl of Great Price". Kirjaa tosiaan on vielä myytävänä, vaikkapa Amazonilla, liekö kuva julkaistu tässä: Pearl of Great Price: The Life of Mother Maria Skobtsova, 1891-1945.

Sama kuva on julkaistu myös Kirkko ja kaupunki -lehdessä ilmestyneessä, Paula Tiihosen kirjoittamassa  Jännät nunnat - esittelyssä kolme hengennaista joista ei kerrottu historian tunneilla. Tämä artikkeli on kirjoitettu pelkästään Petterssonin kirjan perusteella, siihen ei ole haettu muita lähteitä. Tässä Tiihosen jutussa on julkaistu kolme kuvaa Pettersonin kirjasta, edellä mainittu Maria Pariisilaisen kuva sivulta 268, Ani Pachenin kuva  sivulta 256 ja Maria Gaetana Agnesin kuva sivulta 84. Kuville annetaan nimet, mutta ei anneta lähdettä, ja samat kuvat ovat Petterssonin kirjassa ilman nimiä. Petterssonin kuvalähteissä Ani Pachenin kuva on nimetty Timothy  Allenin ottamaksi kuvaksi ja lähde on Eyevine/Lehtikuva. Maria Gaetana Agnesin kuvalle on annettu lähde, se on italiankileinen teos vuodelta 1812, kuvan omistajaksi ilmoitetaan Wikimedia Commons, ja kuva löytyy näillä tiedoilla.  

Mistä suora lainaus?

Sekä Pettersson kirjassaan (2020, s. 272) että Tiihonen Kirkko ja kaupunki -lehden artikkelissa julkaisevat Maria Pariisilaisen rukouksen. Se on molemmissa teksteissä ilmoitettu suoraksi lainaukseksi. Pettersson ilmoittaa sen löytyneen Äiti Marian jäämistöstä. Tiihonen otsikoi sen Maria Pariisilaisen rukoukseksi keskitysleirillä. Tässä rukous: 

"Herra. älä muista vain hyviä ihmisiä vaan myös pahoja. Äläkä muista vain kärsimyksiä, joita he ovat aiheuttaneet meille, vaan myös hedelmiä, joita olemme kärsimysten ansiosta kantaneet: toveruutta, nöyryyttä, rohkeutta. Muista sydämemme suuruutta, joka kasvoi niistä. Ja kun astumme tuomioistuimesi eteen, anna kaikkien hedelmien, joita olemme kantaneet, koitus heidän anteeksiantamuksekseen. Amen."

Ilmeisesti kaikki Petterssonin kirjoitustapaa arvioineet ovat yhtä mieltä siitä, että vähintään suorissa lainauksissa pitää ilmoittaa lähde, kun lainaus jo sinällään tarkoittaa, että se on kopioitu jostain. Yhden kerran 500-sivuisessa kirjassaan Pettersson sen ilmoittaa (s. 203 on Shakespeare -sitaatti ja sen on ilmoitettu kirjan alun julkaisutietosivulla olevan Paavo Cajanderin suomentama kirjassa Antonius ja Kleopatra). Tässä suorana lainauksena esitetyssä rukouksessa pitäisi myös mainita paitsi lähde, myös se, kuka sen on kääntänyt suomeksi. Historiallisesti kiinnostavaa olisi mainita myös sen alkukieli ja ehkäpä jopa antaa lukijalle mahdollisuus tulkita alkuperäistä.  

Maria Pettersson on julkaissut rukouksen Twitterissä 23.9.2019.

Rukous on myös esimerkiksi Helsingin ortodoksisen seurakunnan sivuilla, joilla esitellään Pyhän Maria Pariisilaisen tsasounaa tai ortodoksi.net -sivustolla, jossa on vuonna 2014 julkaistu lyhyt Maria Pariisilaisen elämäkerta (ja viitteet laajempiin teoksiin). 

Rukouksen alkukieltä tai suomentajaa en näillä pikahauilla löytänyt. Kuka tietää? 

Oletan että vastaus löytyisi esimerkiksi tästä kirjasta: Elina Kahla & Irina Zatulovskaja (2010): Tuli ja valo – Kertomuksia pyhistä naisista. Maria Pariisilainen on yksi kirjassa esitellystä seitsemästä pyhästä naisesta.