Noin vuosi sitten kirjoitin siitä, miten uusien tekoälyratkaisujen kehitys näytti hidastuneen. Moni akateeminen asiantuntija arvioikin tuolloin, että Piilaaksossa optimismia synnyttänyt skaalahypoteesi olisi tullut tiensä päähän. Näin näyttääkin tapahtuneen: pelkästään kielimallien kokoa ja harjoitusaineistoa kasvattamalla ei päästä enää juurikaan parempiin tuloksiin, kuten vaikkapa hiljattain julkaistu GPT4.5 -kielimalli osoittaa.
Kehitys ei kuitenkaan ole sittenkään hidastunut, päin vastoin.
Siinä, missä ydinmallien kohdalla skaalahyödyt eivät toki toistaiseksi tunnu kasvavan, on viime aikoina löytynyt aivan uudenlaisia tapoja hyödyntää nykyteknologiaa niin, että tulokset ovat ajoittain jälleen ällistyttäviä. Viime kuukausina onkin palattu takaisin pari vuotta sitten startanneesen ennennäkemättömään muutossykliin, jossa uusia läpimurtoja tapahtuu kuukausittain.
Vuodenvaihteen tienoilla julkaistut päättelykielimalllit – esimerkiksi OpenAI:n o1 ja o3, Googlen Gemini Thinking ja pörssejä ravistellut kiinalainen Deepseek – hyödyntävät jo aiemmin syötemuotoilussa avainasemaan nousseita päättelypuu- ja päättelyketjutekniikoita. Näissä malleissa päättely on rakennettu sisään pohjimmiltaan ihan normaaliin kielimalliin. Tuloksena on huomattavasti aiempaa luotettavampi tekoälybotti – jos kohta päättelymallitkin tekevät aika ajoin erikoisia virheitä arkipäättelyn puutteellisuudesta jekkusyötteisiin lankeamiseen.
Vielä järisyttävämpi murros liittyy kuitenkin alkuvuodesta läpilyöneisiin syvätutkimusmalleihin, kuten Gemini Deep Research ja Open AI:n kielimallien Deep Research -moodi. Kielimallin luotettavuus on aina haastavaa, jopa päättelymallien kohdalla, koska pohjimmiltaan kyse on aina sanajoukkojen tilastollisesta yleisyydestä. Jos kielimalli veikkaa yhdenkin sanan väärin, voi koko lopputuotos mennä plörinäksi.
Tutkimusmallit suitsevat tätä ongelmaa hyödyntämällä laajasti luotettavista lähteistä kokoon kaavittua tutkimusaineistoa itse syötteen laatimisessa. Sen sijaan, että ne arvaisivat vain sana kerrallaan tai edes hyödyntäisivät muutamaa verkkohakua, tutkimusmallien tekstintuottamisen taustalla vaikuttaa myös laaja aiempi tieteellinen aineisto, jonka avulla vimpain pystyy laatimaan aiheesta kuin aiheesta noin 20-sivuisen tutkimusraportin. Työ, johon aiemmin vaadittiin akateemisesti pitkälle kouluttautuneen tutkijan paneutumista kuukausikaupalla, on nyt mahdollista suorittaa noin puolessa tunnissa.
Tämäkään teknologia ei kuitenkaan korvaa ihmistä.
Ensinnäkin, edes tutkimusmalleilla ei kannata synnyttää julkaistavaksi tarkoitettavaa tekstiä, vaan niiden hyöty on ennen kaikkea saada nopeasti ylätason ymmärrys tutkittavasta asiasta. Erityisen arvokasta tämä on, koska mallien tuottama tutkimusraportti sisältää nyt suorat viitteet käytettyihin aineistoihin. Tutkimustekoäly ei siis keksi lähdeviitteitä kuten aiemmat, vaan viittaa systemaattisesti olemassa oleviin artikkeleihin.
Toiseksi, tutkimusmallin tuottaman raportin arviointi vaatii edelleen syvällistä substanssiosaamista. Koska tekoäly tekee yhä virheitä ajoittain, on kriittistä, että raportin arvioi joku syvällisesti sen käsittelemää aihetta ymmärtävä ihminen. Silti, ainakin omissa kokeiluissani tutkimustekoälyn virheiden määrä ei ole juurikaan ylittänyt sitä, mitä voisi keskimäärin olettaa vaikkapa kandidaatintyötä laativalta opiskelijalta. Virhemarginaalia voi pienentää entisestään laatimalla samalla syötteellä raportin sekä Geminillä että ChatGPT:llä. Näin toimin itse käytännösä joka tutkimuskysymyksen osalta tällä hetkellä.
Teknologian kehityksen ei tarvitse perustua vain yhtä rataa kulkevaan jatkuvaan kasvuun vaikkapa Mooren lain tapaan. Teknologia voi kehittyä myös laadullisesti, eli keksimällä uusia tapoja käyttää jo olemassa olevia ratkaisuja. Tästä on nähdäkseni kyse nyt etenkin uusien päättely- ja tutkimusmallien kohdalla.
Laadullisen kehittämisen ansiosta tekoälyratkaisujen kiihtyvälle kehitykselle ei siis sittenkään näytä olevan ainakaan vielä näkyvillä olevaa ylärajaa.
Ajattelun ammattilainen 
Koitettaisko nyt vihdoin päästä eroon siitä pinttyneestä käsityksestä, että järjestelmän muistiin syötetyn aineiston osittainen uudelleen järjestely tai ryhmittely aineistosta muodostettavissa olevien hahmojen mukaan edustaisi jotain älykkyyttä? Vasta sitten, kun koneet pystyvät ratkaisemaan kysymyksiä tai ongelmia, joihin ihmisten äly ei ole toistaiseksi riittänyt, voidaan alkaa perustellusti puhua jostain älykkyydestä. Esimerkkinä mainittakoon yleinen ratkaisu nk Navier-Stokesin yhtälöille, millä voidaan mallintaa nesteen turbulenttia virtausta. Kokonaan toinen aihepiiri olisi tietoisuus (engl ’consciousness’), mikä lienee kuitenkin yksi komponentti älykkyydessä.
Kiitos jälleen viestistä Ajattelun ammattilainen! Poimin viestistä lauseen ”Tutkimusmallit suitsevat tätä ongelmaa hyödyntämällä laajasti luotettavista lähteistä kokoon kaavittua tutkimusaineistoa itse syötteen laatimisessa. Sen sijaan, että ne arvaisivat vain sana kerrallaan tai edes hyödyntäisivät muutamaa verkkohakua, tutkimusmallien tekstintuottamisen taustalla vaikuttaa myös laaja aiempi tieteellinen aineisto, jonka avulla vimpain pystyy laatimaan aiheesta kuin aiheesta noin 20-sivuisen tutkimusraportin. Työ, johon aiemmin vaadittiin akateemisesti pitkälle kouluttautuneen tutkijan paneutumista kuukausikaupalla, on nyt mahdollista suorittaa noin puolessa tunnissa.” Melko pitkä lause, jonka kirjoittamiseen olisi mennyt enemmän aikaa kuin näin kopioimalla. Kopiointi onnistui noin minuutissa ja olisi onnistunut nopeammin, jos minulla olisi ihmisenä valmis liikerata eli tottumus kopioida toisen tuottamaa tekstiä.
Tällaisia hienoja tieteelliseltä näyttäviä tekstejä voi siis tietokoneella sekä tuottaa että kopioida. Kopiointi on varhempaa teknologiaa. Se on ollut tekstinkäsittelylaitteilla mahdollista jo suunnilleen 1980-luvulta saakka. Yleensä tekstin kopioimista on käytetty esimerkiksi liikekirjeiden tuottamiseen, jossa sama markkinointikirje on lähetetty usealle vastaanottajalle vain osoitetta vaihtamalla. Tämä on ollut erittäin tuottoisaa yrityksen omistajalle ja siten kirjeenvaihtajia, konttoristeja ja sihteereitä on voitu toimistossa vähentää. Jo noista ajoista saakka on ollut ihanteena niin sanottu paperiton konttori. Nykyään siihen on monessa yrityksessä päästy. Olen katsonut nykyaikaisia elokuvia, joissa ei ole juurikaan paperipinoja (meinasin kirjoittaa pepperonipizzoja, eli niitä siis näkyy) pöytien pinnoilla, mutta kuitenkin elokuvien juonen mukaan erittäin tärkeitä ovatkin yllättäen juuri paperit. Niitä saattaa olla hukassa, niitä allekirjoitetaan, väärennetään allekirjoituksia, pidetään kassakaapeissa ja niin edelleen. Tekoälyn tuottamalla tekstillä ja tekstimassalla saattaa olla jopa häviävän pieni kiinnostavuus, joten paperia sellaisen tekstin osalta kyllä säästyy. Tämä on luonnon kannalta hyvä asia. Puita ei tarvitse kaataa niin paljon. Muutoinkin erialaisista jätemateriaaleista voidaan nykyään ”keittää” sellua ja siten tuottaa paperia, vaikka puut metsässä saisivat humista rauhassa.
Viime aikoina olen pohtinut materiakiertoa muutoinkin.
Oletteko te Ajattelun ammattilaiset (Ajattelun ammattilainen?) tullut ajatelleeksi, että materiakierrätys vaatii paljon rahaa. Hullukaan ei ehkä ajattele materiakierrätyksen tuottavan rahaa? Eli kyseessä on toimiala ja teollisuus, joka tarvitsee rahoituksen kaikkeen toimintaan liittyvään: laitteisiin, työntekijöihin, ajattelijoihin (jotka esimerkiksi ainakin ennen kuin toiminta teknistyy ja automatisoituu) tekevät havaintoja kyseisen jätematerian käyttömahdollisuuksista tai niitten jatkokäsittelymahdollisuuksista. Tätähän on tehty jo 00-luvun alusta saakka, jolloin koko maailma oli niin sanotusti kädet pystyssä ja voimattomia sen suhteen, että muovijätettä oli niin paljon kertynyt, että maailma oli siihen hukkumassa. Uskokaa tai älkää! Olin paikalla mielisairaalan suljetulla osastolla, kun joku suuren pöydän äärellä (joku nainen) sanoi, että muovi sulaa kuumaan öljyyn. En ole sittemmin mielisairaalan ulkopuolellakaan kuullut, että muovi olisi jonkinlainen ongelma. Luulen, että muovin käsittelyyn on panostettu rahalla ja siten ongelma ei enää maailmaa kaada.
Ystävällisin terveisin,
Tarja Kaltiomaa
Sivustolta http://www.kvalifysiikkaantropologia.blog
Kirjojani löytyy http://www.ellibs.com julkaisija Tmi Tyhjapaperi sivulta! Tervetuloa. Kaikki kirjoitettu ennen teknoälyä!
Kiitos jälleen viestistä Ajattelun ammattilainen! Poimin viestistä lauseen ”Tutkimusmallit suitsevat tätä ongelmaa hyödyntämällä laajasti luotettavista lähteistä kokoon kaavittua tutkimusaineistoa itse syötteen laatimisessa. Sen sijaan, että ne arvaisivat vain sana kerrallaan tai edes hyödyntäisivät muutamaa verkkohakua, tutkimusmallien tekstintuottamisen taustalla vaikuttaa myös laaja aiempi tieteellinen aineisto, jonka avulla vimpain pystyy laatimaan aiheesta kuin aiheesta noin 20-sivuisen tutkimusraportin. Työ, johon aiemmin vaadittiin akateemisesti pitkälle kouluttautuneen tutkijan paneutumista kuukausikaupalla, on nyt mahdollista suorittaa noin puolessa tunnissa.” Melko pitkä lause, jonka kirjoittamiseen olisi mennyt enemmän aikaa kuin näin kopioimalla. Kopiointi onnistui noin minuutissa ja olisi onnistunut nopeammin, jos minulla olisi ihmisenä valmis liikerata eli tottumus kopioida toisen tuottamaa tekstiä.
Tällaisia hienoja tieteelliseltä näyttäviä tekstejä voi siis tietokoneella sekä tuottaa että kopioida. Kopiointi on varhempaa teknologiaa. Se on ollut tekstinkäsittelylaitteilla mahdollista jo suunnilleen 1980-luvulta saakka. Yleensä tekstin kopioimista on käytetty esimerkiksi liikekirjeiden tuottamiseen, jossa sama markkinointikirje on lähetetty usealle vastaanottajalle vain osoitetta vaihtamalla. Tämä on ollut erittäin tuottoisaa yrityksen omistajalle ja siten kirjeenvaihtajia, konttoristeja ja sihteereitä on voitu toimistossa vähentää. Jo noista ajoista saakka on ollut ihanteena niin sanottu paperiton konttori. Nykyään siihen on monessa yrityksessä päästy. Olen katsonut nykyaikaisia elokuvia, joissa ei ole juurikaan paperipinoja (meinasin kirjoittaa pepperonipizzoja, eli niitä siis näkyy) pöytien pinnoilla, mutta kuitenkin elokuvien juonen mukaan erittäin tärkeitä ovatkin yllättäen juuri paperit. Niitä saattaa olla hukassa, niitä allekirjoitetaan, väärennetään allekirjoituksia, pidetään kassakaapeissa ja niin edelleen. Tekoälyn tuottamalla tekstillä ja tekstimassalla saattaa olla jopa häviävän pieni kiinnostavuus, joten paperia sellaisen tekstin osalta kyllä säästyy. Tämä on luonnon kannalta hyvä asia. Puita ei tarvitse kaataa niin paljon. Muutoinkin erialaisista jätemateriaaleista voidaan nykyään ”keittää” sellua ja siten tuottaa paperia, vaikka puut metsässä saisivat humista rauhassa.
Viime aikoina olen pohtinut materiakiertoa muutoinkin.
Oletteko te Ajattelun ammattilaiset (Ajattelun ammattilainen?) tullut ajatelleeksi, että materiakierrätys vaatii paljon rahaa. Hullukaan ei ehkä ajattele materiakierrätyksen tuottavan rahaa? Eli kyseessä on toimiala ja teollisuus, joka tarvitsee rahoituksen kaikkeen toimintaan liittyvään: laitteisiin, työntekijöihin, ajattelijoihin (jotka esimerkiksi ainakin ennen kuin toiminta teknistyy ja automatisoituu) tekevät havaintoja kyseisen jätematerian käyttömahdollisuuksista tai niitten jatkokäsittelymahdollisuuksista. Tätähän on tehty jo 00-luvun alusta saakka, jolloin koko maailma oli niin sanotusti kädet pystyssä ja voimattomia sen suhteen, että muovijätettä oli niin paljon kertynyt, että maailma oli siihen hukkumassa. Uskokaa tai älkää! Olin paikalla mielisairaalan suljetulla osastolla, kun joku suuren pöydän äärellä (joku nainen) sanoi, että muovi sulaa kuumaan öljyyn. En ole sittemmin mielisairaalan ulkopuolellakaan kuullut, että muovi olisi jonkinlainen ongelma. Luulen, että muovin käsittelyyn on panostettu rahalla ja siten ongelma ei enää maailmaa kaada.
Ystävällisin terveisin,
Tarja Kaltiomaa
Sivustolta http://www.kvalifysiikkaantropologia.blog
Kirjojani löytyy http://www.ellibs.com julkaisija Tmi Tyhjapaperi sivulta! Tervetuloa. Kaikki kirjoitettu ennen teknoälyä!