Konteksti mõistva tehisintellekti loomine: väljakutsed ja läbimurded

Kui ma kümme aastat tagasi tehisintellekti süsteemidega töötama hakkasin, oli nende suutmatus konteksti mõista valusalt ilmne. Esitaksid pealtnäha lihtsa küsimuse, aga saaksid vastuse, mis läks täiesti mööda, sest süsteem ei suutnud haarata kontekstuaalseid nüansse, mida inimesed intuitiivselt mõistavad.
Konteksti mõistmine on tehisintellekti arendamisel üks olulisemaid väljakutseid. Erinevalt inimestest, kes tõlgendavad tähendust pingutuseta olukorrateadlikkuse, kultuuriliste teadmiste ja vestlusajaloo põhjal, on traditsioonilised tehisintellekti süsteemid toiminud peamiselt mustrituvastuse ja statistilise analüüsi põhjal, ilma et nad tegelikult "mõistaksid" laiemat konteksti.
See kontekstuaalne lõhe avaldub mitmel viisil: tehisintellekt ei pruugi ära tunda sarkasmi, ei pruugi märgata kultuuriliste viidete olulisust või unustada vestluse varasemaid osi, mis pakuvad uue teabe tõlgendamiseks olulist konteksti. See on nagu rääkimine kellegagi, kellel on suurepärane sõnavara, kuid puudub sotsiaalne teadlikkus või mälestus sellest, mida sa viis minutit tagasi ütlesid.

Kontekst ei ole ühene mõiste, vaid pigem mitmemõõtmeline raamistik, mis hõlmab mitmesuguseid elemente:

Keeleline kontekst hõlmab konkreetset väidet ümbritsevaid sõnu, lauseid ja lõike. Kui keegi ütleb: "Ma ei talu seda", muutub tähendus dramaatiliselt, kui eelnev lause on "See tool on kõikuv" või "See muusika on ilus".

Situatsiooniline kontekst hõlmab keskkonna, ajastuse ja suhtluse toimumise asjaolude mõistmist. "Juhiste" küsimine tähendab midagi muud, kui seista tänavanurgal eksinuna või istuda juhtimiskonverentsil.

Kultuuriline kontekst sisaldab jagatud teadmisi, viiteid ja norme, mis kujundavad suhtlust. Kui keegi mainib "Hamleti mängimist", viitab ta otsustusvõimetusele – aga kultuurilise kontekstita tehisintellekt võib hakata Shakespeare'i ette lugema.
Interpersonaalne kontekst hõlmab suhete dünaamikat, ühist ajalugu ja emotsionaalseid seisundeid, mis mõjutavad interaktsioone. Sõbrad mõistavad üksteise sisemisi nalju ja suudavad tuvastada peeneid toonimuutusi, mis annavad märku emotsioonidest. Selleks, et tehisintellekti süsteemid saaksid konteksti tõeliselt mõista nii, nagu inimesed seda teevad, peavad nad kõiki neid dimensioone samaaegselt haarama – see on monumentaalne väljakutse, mis on teadlasi aastakümneid vaevanud.

Varased katsed luua kontekstipõhist tehisintellekti tuginesid suuresti reeglipõhistele süsteemidele ja käsitsi kodeeritud teadmistele. Arendajad programmeerisid vaevarikkalt tuhandeid kui-siis reegleid konkreetsete kontekstide käsitlemiseks. Näiteks: "Kui kasutaja mainib, et ta tunneb end halvasti ja on varem rääkinud tööintervjuust, siis viidake vastamisel intervjuule."
See lähenemisviis muutus kiiresti jätkusuutmatuks. Potentsiaalsete kontekstide arv on sisuliselt lõpmatu ja vastuste käsitsi programmeerimine iga stsenaariumi jaoks on võimatu. Need süsteemid olid haprad, ei suutnud üldistada uutele olukordadele ja sageli katkesid ootamatute sisendite ilmnemisel.
Statistilised meetodid, nagu n-grammid ja masinõpe, parandasid olukorda mõnevõrra, võimaldades süsteemidel ära tunda keelekasutuse mustreid. Siiski olid need lähenemisviisid endiselt hädas pikaajaliste sõltuvustega – sidudes vestluses palju varem mainitud teavet praeguste väidetega – ja ei suutnud kaasata laiemat maailmateadmist.
Isegi keerukamad närvivõrgu lähenemisviisid, nagu varased rekurrentsed närvivõrgud (RNN) ja pika lühiajalise mälu (LSTM) võrgud, parandasid kontekstuaalset teadlikkust, kuid kannatasid ikkagi "konteksti amneesia" all, kui vestlused muutusid pikaks või keeruliseks.

Läbimurre saabus 2017. aastal Transformeri arhitektuuri kasutuselevõtuga, mis muutis põhjalikult seda, kuidas tehisintellekti süsteemid järjestikust teavet töötlevad. Erinevalt varasematest mudelitest, mis töötlesid teksti sõnahaaval järjest, kasutavad Transformerid mehhanismi nimega "enesetähelepanu", mis võimaldab neil arvestada kõiki lõigu sõnu samaaegselt, kaaludes nendevahelisi seoseid.

See arhitektuur võimaldas mudelitel jäädvustada palju pikemaid kontekstuaalseid sõltuvusi ja säilitada teadlikkust tuhandeid sõnu varem mainitud teabest. Vaswani jt kuulus artikkel "tähelepanu on kõik, mida vajate" näitas, et see lähenemisviis võib masintõlke kvaliteeti oluliselt parandada, säilitades kontekstuaalse tähenduse paremini eri keeltes.
See arhitektuuriline innovatsioon lõi aluse sellistele mudelitele nagu BERT, GPT ja nende järglased, mis on näidanud üles üha keerukamaid kontekstuaalse mõistmise võimeid. Need mudelid on eelnevalt treenitud tohutul hulgal tekstikorpustel, mis võimaldab neil enne konkreetsete rakenduste jaoks peenhäälestamist omastada keelekasutuse mustreid lugematutes kontekstides.
Nende mudelite ulatus on hüppeliselt kasvanud miljonitest parameetritest sadade miljarditeni, mis võimaldab neil jäädvustada üha peenemaid kontekstuaalseid mustreid. Suurimatel mudelitel näib nüüd olevat algelised "terve mõistuse" teadmised, mis aitavad neil segadust tekitavaid viiteid üheselt mõista ja mõista kaudset tähendust.

Kuigi tekstipõhine kontekstuaalne mõistmine on dramaatiliselt arenenud, ei tugine inimesed konteksti mõistmisel ainult sõnadele. Me tõlgendame olukordi visuaalsete vihjete, hääletooni, kehakeele ja isegi peente keskkonnategurite kaudu.

Hiljutised läbimurded multimodaalses tehisintellektis hakkavad seda lõhet ületama. Süsteemid nagu CLIP, DALL-E ja nende järglased suudavad ühendada keelt ja visuaalset teavet, luues rikkama kontekstuaalse arusaama. Näiteks kui näidatakse rahvarohke staadioni pilti koos tekstiga "mängu" kohta, saavad need süsteemid visuaalsete vihjete põhjal järeldada, kas see viitab pesapallile, jalgpallile või jalgpallile.

Audiovisuaalsed mudelid suudavad nüüd tuvastada emotsionaalseid seisundeid hääletooni ja näoilmete põhjal, lisades kontekstuaalse mõistmise veel ühe olulise kihi. Kui keegi ütleb sarkastiliselt "Suurepärane töö" versus siiralt "Suurepärane töö", muutub tähendus täielikult – erinevus, mida need uuemad süsteemid hakkavad mõistma.

Järgmine piir hõlmab nende multimodaalsete võimete integreerimist vestlusliku tehisintellektiga, et luua süsteeme, mis mõistavad konteksti samaaegselt erinevate sensoorsete kanalite kaudu. Kujutage ette tehisintellektiga assistenti, mis tunneb ära teie toiduvalmistamise (visuaalne kontekst), kuuleb teie frustreerunud tooni (heli kontekst), märkab, et loete retsepti (tekstiline kontekst) ja pakub asjakohast abi ilma otsese küsimiseta.

Isegi täiustatud keelemudelite puhul on tehisintellekti süsteemidel olnud raskusi järjepideva kontekstuaalse mälu säilitamisega pikemate interaktsioonide ajal. Varased suured keelemudelid "unustasid" vestluses varem mainitud detaile või konfabuleerisid vastuseid, selle asemel et teadmislünki tunnistada.

Hiljutised läbimurded otsingu abil laiendatud genereerimise (RAG) valdkonnas tegelevad selle piiranguga, võimaldades tehisintellekti süsteemidel viidata välistele teadmusbaasidele ja varasemale vestluste ajaloole. Selle asemel, et tugineda ainult treeningu ajal kodeeritud parameetritele, saavad need süsteemid vajadusel aktiivselt otsida asjakohast teavet, sarnaselt sellele, kuidas inimesed oma mäluga tutvuvad.

Kontekstiaknad – teksti hulk, mida tehisintellekt saab vastuste genereerimisel arvesse võtta – on dramaatiliselt laienenud vaid mõnesajast märgist sadade tuhandeteni kõige arenenumates süsteemides. See võimaldab palju sidusamat pika vormiga sisu genereerimist ja vestlust, mis säilitab järjepidevuse pikkade vestluste ajal.

Sama olulised on edusammud arutlusvõimes. Kaasaegsed süsteemid saavad nüüd täita mitmeastmelisi arutlusülesandeid, jagades keerulised probleemid hallatavateks sammudeks, säilitades samal ajal konteksti kogu protsessi vältel. Näiteks matemaatikaülesande lahendamisel saavad nad jälgida vahetulemusi ja eeldusi viisil, mis peegeldab inimese töömälu.

Kuna tehisintellekti süsteemid muutuvad konteksti mõistmisel osavamaks, tekivad uued eetilised kaalutlused. Süsteemid, mis haaravad kultuurilisi ja sotsiaalseid nüansse, võivad potentsiaalselt kasutajaid tõhusamalt manipuleerida või võimendada treeningandmetes esinevaid kahjulikke eelarvamusi.
Võime säilitada kontekstuaalset mälu interaktsioonide vältel tekitab ka privaatsusprobleeme. Kui tehisintellekt mäletab nädalaid või kuid varem jagatud isikuandmeid ja toob need ootamatult esile, võivad kasutajad tunda, et nende privaatsust on rikutud, isegi kui nad jagasid seda teavet vabatahtlikult.
Arendajad töötavad nende probleemide lahendamise nimel selliste tehnikate abil nagu kontrollitud unustamine, isikuandmete salvestamiseks mõeldud selgesõnalise nõusoleku mehhanismid ja eelarvamuste leevendamise strateegiad. Eesmärk on luua tehisintellekt, mis mõistab konteksti piisavalt hästi, et olla abiks, muutumata pealetükkivaks või manipuleerivaks.
Samuti on olemas läbipaistvuse väljakutse. Kuna kontekstuaalne mõistmine muutub keerukamaks, on kasutajatel üha raskem mõista, kuidas tehisintellekti süsteemid oma järeldustele jõuavad. Tehingute otsimine tehisintellekti otsustusprotsessi selgitamiseks kontekstist sõltuvates stsenaariumides on aktiivne uurimisvaldkond.

Läbimurded kontekstuaalses mõistmises muudavad arvukalt valdkondi:
Tervishoius suudab kontekstuaalne tehisintellekt tõlgendada patsientide kaebusi nende haigusloo, elustiilifaktorite ja praeguste ravimite kontekstis. Kui patsient kirjeldab sümptomeid, saab süsteem esitada asjakohaseid järelküsimusi selle tervikliku konteksti põhjal, mitte üldise skripti järgimise põhjal.
Klienditeenindussüsteemid säilitavad nüüd vestluste ajalugu ja kontoteavet kogu suhtluse vältel, välistades masendava vajaduse teavet korrata. Nad suudavad keelemustrite põhjal tuvastada emotsionaalseid seisundeid ja vastavalt oma tooni kohandada – muutudes vastavalt kontekstile formaalsemaks või empaatilisemaks.
Haridusrakendused kasutavad kontekstuaalset teadlikkust õpilase õpiteekonna jälgimiseks, teadmiste lünkade ja väärarusaamade tuvastamiseks. Standardiseeritud sisu edastamise asemel kohandavad need süsteemid selgitusi õpilase varasemate küsimuste, vigade ja näidatud arusaamise põhjal.
Õigus- ja finantsdokumentide analüüs saab kontekstuaalsest mõistmisest tohutult kasu. Kaasaegne tehisintellekt suudab tõlgendada klausleid laiemas kontekstis, mis hõlmab terveid lepinguid, asjakohaseid õigusakte ja kohtupraktikat, märgates vastuolusid või potentsiaalseid probleeme, mis võivad teabe üleküllusega tegelevatele inimretsensentidele märkamata jääda.
Loomingulised tööriistad, näiteks kirjutamisassistendid, säilitavad nüüd pikkade teoste puhul temaatilise järjepidevuse, pakkudes välja sisu, mis on kooskõlas väljakujunenud tegelaste, keskkondade ja narratiiviliinidega, mitte üldise teksti täiendamisega.

Tulevikku vaadates võiksid mitmed paljulubavad uurimissuunad kontekstuaalset tehisintellekti veelgi muuta:
Episoodiliste mälumudelite eesmärk on anda tehisintellekti süsteemidele midagi sarnast inimese autobiograafilisele mälule – võime meeles pidada konkreetseid sündmusi ja kogemusi, mitte ainult statistilisi mustreid. See võimaldaks palju isikupärasemaid interaktsioone, mis põhinevad jagatud ajalool.
Põhjusliku arutluse raamistikud püüavad liikuda korrelatsioonipõhisest mustrituvastusest kaugemale põhjus-tagajärg seoste mõistmiseni. See võimaldaks tehisintellektil arutleda kontrafaktuaalsete olukordade ("Mis juhtuks, kui...") üle ja teha täpsemaid ennustusi uudsetes kontekstides.
Arendatakse kultuuridevahelisi kontekstimudeleid, et mõista, kuidas kontekst muutub erinevates kultuuriraamistikes, muutes tehisintellekti süsteemid kohanemisvõimelisemaks ja vähem kallutatud lääne kultuurinormide suhtes.
Kehastatud tehisintellekti uuringud uurivad, kuidas füüsiline kontekst – keskkonnas viibimine ja sellega suhtlemise võimalus – muudab kontekstuaalset mõistmist. Robotid ja virtuaalsed agendid, mis suudavad objekte näha, manipuleerida ja ruumides navigeerida, arendavad välja erinevaid kontekstimudeleid kui ainult tekstipõhised süsteemid.
Lõppeesmärk on endiselt luua tehisintellekt (AGI), millel on inimesele sarnane kontekstuaalne arusaam – süsteemid, mis suudavad sujuvalt integreerida kõiki neid kontekstivorme, et suhelda ja arutleda maailma kohta sama tõhusalt kui inimesed. Kuigi me oleme sellest verstapostist veel kaugel, näitab läbimurrete tempo, et liigume selles suunas pidevalt.

Nende tehnoloogiate pideva arenguga muudavad nad meie suhet masinatega jäigast, käskudel põhinevast interaktsioonist sujuvaks, kontekstirikkaks koostööks, mis meenutab üha enam inimestevahelist suhtlust. Tehisintellekt, mis konteksti tõeliselt mõistab, ei ole ainult tehniline saavutus – see esindab inimkonna tehnoloogilise teekonna põhimõttelist nihet.