Kysy tekoälyltä kuvasta: lääkepakkaus, kirje, käyttöohje – näin se toimii puhelimella

Kysy tekoälyltä kuvasta, kun kirjeen teksti on liian pientä, käyttöohje on vieraalla kielellä tai pakkauksen ainesosaluettelo ei aukea. Otat puhelimella kuvan, liität sen ChatGPT- tai Gemini-sovellukseen ja kysyt tavallisella suomen kielellä: ”Mitä tässä lukee?” Tekoäly lukee tekstin kuvasta ja selittää sen. Yksi sääntö ylitse muiden: lääkkeiden annostusta, henkilötunnusta ja pankkikortteja ei tarkisteta tekoälyltä eikä kuvata sille.

Mitä tekoälyn kuvan tunnistus osaa

Kuvan lähettäminen tekoälylle on yksi hyödyllisimmistä ominaisuuksista arjessa, ja silti moni ei tiedä sen olevan olemassa. Tekoäly osaa lukea painetun tekstin kuvasta, tunnistaa esineitä ja kasveja, selittää kaavioita ja taulukoita sekä kääntää vieraskielisen tekstin. OpenAI:n ohjeen mukaan ChatGPT:n kuvasyöte toimii sekä selaimessa että iOS- ja Android-sovelluksessa, myös ilmaistilauksella käyttörajojen puitteissa. Gemini-sovelluksessa kuvia voi lähettää samaan tapaan.

Vahvuus ja heikkous ovat sama asia: tekoäly tulkitsee kuvaa, se ei lue sitä kuin viivakoodinlukija. Terävä, suora kuva hyvässä valossa menee lähes aina oikein. Suttuinen kuva, käsinkirjoitettu teksti tai heijastava purkki voi tuottaa väärän numeron tai sanan, eikä tekoäly aina huomaa epävarmuuttaan. OpenAI toteaa ohjeessaan suoraan, että epäselvän kuvan tulokset voivat olla vähemmän tarkkoja.

Näin lähetät kuvan ChatGPT:ssä

OpenAI:n ohjeen mukaan kuva lisätään ChatGPT-sovelluksessa näin:

1. Avaa ChatGPT-sovellus ja aloita uusi keskustelu.
2. Napauta viestikentän vieressä olevaa +-kuvaketta.
3. Valitse kuvien ja tiedostojen lisääminen. Voit valita kuvan puhelimen galleriasta tai ottaa uuden kuvan sovelluksen kamerasta. iOS-sovelluksessa plus-painikkeen pitkä painallus avaa viimeisimmät kuvat suoraan.
4. Kirjoita tai sanele kysymys, esimerkiksi ”Mitä tässä kirjeessä pyydetään tekemään?”
5. Lähetä.

Tuetut kuvatyypit ovat ohjeen mukaan PNG, JPEG ja liikkumaton GIF. Puhelimen kamera tuottaa näistä yleensä JPEG-kuvan, joten erillistä muunnosta ei tarvita. Jos sovellus ei vielä ole puhelimessasi, asennus käydään läpi artikkelissa ChatGPT-sovellus puhelimeen.

Näin lähetät kuvan Geminissä

Googlen ohjeen mukaan Android-puhelimen Gemini-sovelluksessa:

1. Kirjoita kysymys tekstikenttään.
2. Napauta Lisää tiedostoja -painiketta.
3. Valitse Kuvat, jos kuva on jo galleriassa, tai Kamera, jos haluat ottaa uuden kuvan.
4. Napauta lähetä.

Yhteen viestiin voi ohjeen mukaan liittää enintään 10 tiedostoa. Jos Gemini ilmoittaa, ettei se pystynyt analysoimaan tiedostoa, Google kehottaa lähettämään sen uudelleen. iPhonella vaiheet ovat vastaavat Gemini-sovelluksessa. Lisää Geministä suomeksi: Gemini-tekoäly suomeksi.

Entä Google Lens?

Google Lens on eri työkalu kuin Gemini. Se ei keskustele, vaan tunnistaa ja hakee. Googlen ohjeen mukaan Lens osaa kopioida tekstin kuvasta, kääntää sen Google Kääntäjän kielille, tunnistaa kasvin tai eläimen lajin sekä näyttää vastaavia tuotteita. Android-puhelimella Lens avautuu esimerkiksi Google Kuvat -sovelluksesta valitsemalla kuva, napauttamalla Lisää ja sitten Google Lens. Lens sopii, kun haluat nopean vastauksen ”mikä tämä on”. Gemini tai ChatGPT sopii, kun haluat selityksen, tiivistyksen tai jatkokysymyksen.

Hyvä kuva kolmella säännöllä

Tekoäly lukee tekstin kuvasta sitä paremmin, mitä parempi kuva on. Kolme sääntöä riittää:

1. Valo edestä, ei takaa. Asetu niin, että ikkuna tai lamppu valaisee paperia eikä paista kameraan. Oma varjosi paperilla on yleisin syy sumeaan tulokseen.
2. Puhelin suoraan paperin yläpuolella. Vinosta otettu kuva vääristää rivit, ja pienet numerot muuttuvat arvauksiksi. Jos puhelin ehdottaa asiakirjan skannausta, käytä sitä.
3. Yksi asia kerrallaan. Kuvaa kirjeen yksi sivu tai pakkauksen yksi kylki. Jos koko ohjekirja on yhdessä kuvassa, teksti on liian pientä luettavaksi.

Tarkista kuva itse ennen lähettämistä: jos et itse erota numeroita suurentamalla, ei tekoälykään erota niitä luotettavasti.

Käyttötilanteet arjessa

Kirjeen teksti isommaksi ja selkokielelle

Kelan, verottajan tai taloyhtiön kirje on monelle hankala kahdesta syystä: pieni teksti ja virkakieli. Kuvaa sivu, pyydä tekoälyä kirjoittamaan teksti puhtaaksi ja selittämään, mitä sinulta odotetaan ja mihin mennessä. Puhelimen fonttia voit sitten suurentaa niin paljon kuin haluat. Syvemmin aihetta käsittelee artikkeli viranomaiskirje selkokielelle.

Käyttöohjeen tiivistys

Uuden verenpainemittarin, kahvinkeittimen tai reitittimen ohjekirja on usein 40 sivua kahdeksalla kielellä. Kuvaa ne 2–3 sivua, jotka koskevat käyttöönottoa, ja pyydä ”viisi askelta, joilla pääsen alkuun”. Jos ohje on vain englanniksi tai saksaksi, pyydä samalla suomennos.

Kasvin tunnistus

Parvekkeen tuntematon taimi tai metsäpolun marja: kuvaa lehdet ja kukka läheltä sekä koko kasvi kauempaa. Tekoäly ehdottaa lajia ja kertoo, miten varmistut. Syötäväksi ei kuitenkaan kelpuuteta mitään tekoälyn tunnistuksen perusteella: sienet ja marjat tarkistetaan kirjasta tai asiantuntijalta.

Ruokapakkauksen ainesosat

Allergia tai erityisruokavalio tekee ainesosaluettelosta tärkeän ja usein vaikealukuisen. Kuvaa luettelo ja kysy: ”Onko tässä maitoa, pähkinää tai gluteenia?” Pyydä tekoälyä lainaamaan ne sanat, joiden perusteella se vastaa, niin voit tarkistaa ne itse pakkauksesta. Vakavassa allergiassa tekoälyn tulkinta ei korvaa omaa lukemista.

Kuitti

Kuvaa kuitti heti kaupan jälkeen ja pyydä tekoälyä poimimaan summa, päivämäärä ja tuotteet taulukoksi. Kun kuukauden kuitit on kuvattu, voit koota ne kuukausibudjetiksi tekoälyn avulla. Peitä kuitista kortin loppunumerot ja mahdollinen bonuskortin tunnus ennen kuvaamista.

Lääkepakkaus: mitä saa kysyä ja mitä ei

Lääkepakkaus on tilanne, jossa kuvan lähettäminen tekoälylle on houkuttelevaa ja jossa raja pitää vetää tarkasti.

Saa kysyä: mitä pakkauksen vaikeat sanat tarkoittavat, mikä on valmisteen nimi ja vaikuttava aine, miten pakkausselosteen jokin kappale selitetään selkokielellä. Tekoäly on tähän hyvä sanakirja.

Ei saa tarkistaa tekoälyltä: annostus, ottoväli, yhteensopivuus muiden lääkkeidesi kanssa tai se, voitko jättää annoksen väliin. Tekoäly voi lukea ”1 tabletti” tilanteessa, jossa pakkauksessa lukee ”½ tablettia”, tai sekoittaa kaksi samannäköistä valmistetta. Se ei myöskään tiedä, mitä muita lääkkeitä käytät.

Mitä ei koskaan kuvata tekoälylle

Kuva on tietoa siinä missä tekstikin. Kun lähetät kuvan, lähetät kaiken, mitä siinä näkyy, myös sen, mitä et tarkoittanut.

• Henkilötunnus. Kelan ja verottajan kirjeissä se on usein oikeassa yläkulmassa. Peitä se sormella tai paperilapulla ennen kuvaamista, tai rajaa kuva niin, että vain itse teksti näkyy.
• Pankki- ja luottokortit, verkkopankin tunnusluvut. Ei koskaan, ei kummaltakaan puolelta.
• Passi, ajokortti, henkilökortti. Samasta syystä.
• Toisten ihmisten asiakirjat. Puolison lääkärikirje, naapurin kirje tai lapsen koulutodistus eivät ole sinun annettavissasi.
• Salasanat ja palautuskoodit, vaikka ne olisivat vain paperilapulla pöydän kulmalla kuvan taustalla.

Tarkempi lista ja perustelut: mitä tekoälylle ei saa kertoa. Jos käytät kuvatoimintoa usein, kannattaa myös käydä läpi palvelun tietosuoja-asetukset, jotka selitetään artikkelissa GDPR ja tekoäly.

Neljä kehotetta, jotka voi sanoa ääneen

Nämä kehotteet ovat lyhyitä tarkoituksella. Voit sanella ne puhelimen mikrofoniin kuvan liittämisen jälkeen. Ne sopivat erityisesti senioreille, joille näppäimistöllä kirjoittaminen on hidasta.

Lue tämän kirjeen teksti ja kirjoita se puhtaaksi. Kerro sitten selkokielellä kolmella lauseella, mitä minun pitää tehdä ja mihin mennessä.

Tiivistä tämän käyttöohjeen sivu viideksi askeleeksi, joilla otan laitteen käyttöön. Jos jokin kohta on epäselvä kuvassa, sano se.

Mikä kasvi tämä todennäköisesti on? Kerro kaksi tuntomerkkiä, joista voin itse varmistaa asian, ja sano, kuinka varma olet.

Lue tämän pakkauksen ainesosaluettelo. Onko siinä [maitoa / pähkinää / gluteenia]? Lainaa sanat, joiden perusteella vastaat, jotta voin tarkistaa ne pakkauksesta.

Lääkepakkaukselle sopiva pyyntö kuuluu näin: ”Selitä, mitä tämän pakkausselosteen kappale tarkoittaa selkokielellä. Älä kerro annostusta, tarkistan sen itse.” Rajaus kehotteessa muistuttaa sekä tekoälyä että sinua siitä, mihin vastausta käytetään.

Kun vastaus tuntuu väärältä

Tekoäly voi lukea väärin, ja se voi sanoa väärän asian varmalla äänellä. Kolme nopeaa tarkistusta: pyydä tekoälyä lainaamaan kuvasta täsmälleen se kohta, johon vastaus perustuu; ota uusi kuva paremmassa valossa ja kysy uudelleen; ja kun kyse on rahasta, terveydestä tai määräajasta, katso alkuperäinen paperi omin silmin. Kirjan ”Kehotekirja – Tekoäly arjessa ja työssä” ohje pätee kuvienkin kanssa: tekoäly on apuri, joka suurentaa, selittää ja tiivistää. Päätökset ja tarkistukset ovat sinun.