Konteksti mõistva AI ehitamine: väljakutsed ja läbimurded

Kui ma kümme aastat tagasi esimest korda AI-süsteemidega töötama hakkasin, oli nende suutmatus kontekstist aru saada valusalt ilmne. Te esitaksite näiliselt otsekohese küsimuse, kuid saaksite vastuse, mis läks täiesti mööda, sest süsteem ei suutnud hoomata kontekstuaalseid nüansse, mida inimesed intuitiivselt mõistavad.
Konteksti mõistmine on tehisintellekti arendamise üks olulisemaid väljakutseid. Erinevalt inimestest, kes tõlgendavad tähendusi pingevabalt olukorrateadlikkuse, kultuuriteadmiste ja vestlusajaloo põhjal, on traditsioonilised AI-süsteemid toiminud peamiselt mustrituvastuse ja statistilise analüüsi alusel, ilma laiemat konteksti tõeliselt "mõistmata".
See kontekstuaalne lünk avaldub mitmel viisil: tehisintellekt ei pruugi sarkasmi ära tunda, jätab tähelepanuta kultuuriliste viidete olulisuse või unustada vestluse varasemad osad, mis pakuvad uue teabe tõlgendamiseks üliolulist konteksti. See on nagu rääkimine kellegagi, kellel on suurepärane sõnavara, kuid kellel pole sotsiaalset teadlikkust ega mälu sellest, mida te viis minutit tagasi ütlesite.

Kontekst ei ole ainulaadne mõiste, vaid pigem mitmemõõtmeline raamistik, mis hõlmab erinevaid elemente:
Keeleline kontekst hõlmab konkreetset väidet ümbritsevaid sõnu, lauseid ja lõike. Kui keegi ütleb: "Ma ei talu seda", muutub tähendus dramaatiliselt, kui eelnev lause on "See tool on kõikuv" versus "See muusika on ilus".
Olukorra kontekst hõlmab suhtluse keskkonna, ajastuse ja asjaolude mõistmist. "Juhiste" taotlus tähendab tänavanurgal eksinud seismisel midagi muud kui juhtimiskonverentsil istumist.
Kultuurikontekst kätkeb endas jagatud teadmisi, viiteid ja norme, mis kujundavad suhtlust. Kui keegi mainib "Hamleti tõmbamist", viitab ta otsustusvõimetusele, kuid kultuurikontekstita tehisintellekt võib hakata Shakespeare'i lugema.
Inimestevaheline kontekst hõlmab suhete dünaamikat, jagatud ajalugu ja emotsionaalseid seisundeid, mis värvivad suhtlust. Sõbrad mõistavad üksteise sisenalju ja suudavad tuvastada peeneid toonimuutusi, mis annavad märku emotsioonidest.
Selleks, et tehisintellektisüsteemid saaksid konteksti tõeliselt mõista nii, nagu inimesed seda teevad, peavad nad kõiki neid mõõtmeid korraga mõistma – see on tohutu väljakutse, mis on teadlasi vaevanud aastakümneid.

Varased katsed luua kontekstiteadlik tehisintellekt põhinesid suuresti reeglipõhistel süsteemidel ja käsitsi kodeeritud teadmistel. Arendajad programmeeriksid konkreetsete kontekstide käsitlemiseks hoolikalt tuhandeid kui-siis-reegleid. Näiteks: "Kui kasutaja mainib "mahatunnet" ja on varem rääkinud tööintervjuust, siis viidake vastamisel intervjuule."
Selline lähenemine muutus kiiresti jätkusuutmatuks. Potentsiaalsete kontekstide arv on sisuliselt lõpmatu ja iga stsenaariumi jaoks vastuste käsitsi programmeerimine on võimatu. Need süsteemid olid rabedad, ei suutnud üldistada uutele olukordadele ja katkesid sageli ootamatute sisendite ilmnemisel.
Statistilised meetodid, nagu n-grammid ja põhiline masinõpe, parandasid olukorda mõnevõrra, võimaldades süsteemidel ära tunda keelekasutuse mustreid. Kuid need lähenemisviisid võitlesid endiselt pikaajaliste sõltuvustega, mis ühendasid vestluses palju varem mainitud teavet praeguste väidetega ja ei suutnud hõlmata laiemaid teadmisi maailmast.
Veelgi keerukamad närvivõrkude lähenemisviisid, nagu varajased korduvad närvivõrgud (RNN) ja pika lühiajalise mälu (LSTM) võrgud, parandasid kontekstuaalset teadlikkust, kuid kannatasid siiski "konteksti amneesia" all, kui vestlused muutusid pikaks või keeruliseks.

Läbimurre tuli 2017. aastal Transformeri arhitektuuri kasutuselevõtuga, mis muutis põhjalikult seda, kuidas AI-süsteemid töötlevad järjestikust teavet. Erinevalt eelmistest mudelitest, mis töödeldi teksti ühe sõna kaupa, kasutavad Transformers mehhanismi, mida nimetatakse "enese tähelepanu pööramiseks", mis võimaldab neil kaaluda kõiki sõnu üheaegselt, kaaludes nendevahelisi suhteid.
See arhitektuur võimaldas mudelitel jäädvustada palju pikemaid kontekstuaalseid sõltuvusi ja säilitada teadlikkust tuhandeid sõnu varem mainitud teabest. Kuulus "tähelepanu on kõik, mida vajate" paber, mille autoriks on Vaswani jt. näitas, et see lähenemisviis võib oluliselt parandada masintõlke kvaliteeti, säilitades paremini konteksti tähenduse erinevates keeltes.
See arhitektuuriline uuendus pani aluse sellistele mudelitele nagu BERT, GPT ja nende järeltulijad, mis on näidanud üha keerukamaid konteksti mõistmise võimalusi. Need mudelid on eelkoolitatud tohututele tekstikorpustele, võimaldades neil enne konkreetsete rakenduste jaoks kohandamist võtta vastu keelekasutusmustrid lugematutes kontekstides.
Nende mudelite ulatus on kasvanud plahvatuslikult, miljonitest parameetritest sadade miljarditeni, võimaldades neil tabada üha peenemaid kontekstuaalseid mustreid. Suurimatel mudelitel näib nüüd olevat "terve mõistuse" teadmiste algelised vormid, mis aitavad neil segaseid viiteid eristada ja mõista kaudset tähendust.

Kuigi tekstipõhine kontekstuaalne mõistmine on dramaatiliselt edenenud, ei tugine inimesed konteksti mõistmiseks ainult sõnadele. Me tõlgendame olukordi visuaalsete näpunäidete, hääletooni, kehakeele ja isegi peente keskkonnategurite kaudu.
Hiljutised läbimurded multimodaalses tehisintellektis hakkavad seda lõhet ületama. Sellised süsteemid nagu CLIP, DALL-E ja nende järglased saavad ühendada keele ja visuaalse teabe, luues rikkalikuma kontekstimõistmise. Näiteks kui neile kuvatakse pilti rahvarohkest staadionist koos tekstiga mängu kohta, saavad need süsteemid visuaalsete näpunäidete põhjal järeldada, kas see viitab pesapallile, jalgpallile või jalgpallile.
Audiovisuaalsed mudelid suudavad nüüd hääletooni ja näoilmete põhjal tuvastada emotsionaalseid seisundeid, lisades veel ühe olulise kontekstimõistmise kihi. Kui keegi ütleb "Suurepärane töö" sarkastiliselt versus siiras, muutub tähendus täielikult - erinevus, mida need uuemad süsteemid hakkavad mõistma.
Järgmine piir hõlmab nende multimodaalsete võimaluste integreerimist vestluspõhise AI-ga, et luua süsteeme, mis mõistavad konteksti samaaegselt erinevates sensoorsetes kanalites. Kujutage ette AI-assistenti, mis tunneb ära, et valmistate süüa (visuaalne kontekst), kuuleb teie pettunud tooni (helikontekst), märkab, et loed retsepti (teksti kontekst) ja pakub asjakohast abi ilma selgesõnalise vihjeta.

Isegi täiustatud keelemudelite puhul on AI-süsteemidel olnud probleeme järjepideva kontekstuaalse mälu säilitamisega pikema interaktsiooni ajal. Varased suured keelemudelid "unustasid" varem vestluses mainitud üksikasjad või konfabuleerisid vastuseid, selle asemel, et tunnistada teadmiste lünki.
Hiljutised läbimurded otsimisega suurendatud genereerimises (RAG) on selle piiranguga tegelenud, võimaldades AI-süsteemidel viidata välistele teadmistebaasidele ja varasematele vestluste ajaloole. Selle asemel, et tugineda ainult treeningu ajal kodeeritud parameetritele, saavad need süsteemid vajaduse korral aktiivselt otsida asjakohast teavet, sarnaselt inimestele oma mälestustega.
Kontekstaknad – teksti hulk, mida tehisintellekt võib vastuste genereerimisel arvesse võtta – on kõige arenenumates süsteemides järsult laienenud vaid mõnesajalt märgilt sadade tuhandeteni. See võimaldab palju sidusamat pikaajalise sisu loomist ja vestlust, mis säilitab järjepidevuse pikkade vahetuste puhul.
Sama olulised on arutlusvõime arendamine. Kaasaegsed süsteemid saavad nüüd täita mitmeastmelisi arutlusülesandeid, jagades keerulised probleemid juhitavateks etappideks, säilitades samas konteksti kogu protsessi vältel. Näiteks matemaatikaülesande lahendamisel saavad nad jälgida vahetulemusi ja eeldusi viisil, mis peegeldab inimese töömälu.

Kuna AI-süsteemid muutuvad konteksti mõistmisel osavamaks, ilmnevad uued eetilised kaalutlused. Süsteemid, mis mõistavad kultuurilisi ja sotsiaalseid nüansse, võivad potentsiaalselt kasutajaid tõhusamalt manipuleerida või võimendada koolitusandmetes esinevaid kahjulikke eelarvamusi.
Võimalus säilitada kontekstuaalset mälu interaktsioonide vahel tekitab ka privaatsusprobleeme. Kui tehisintellekt mäletab nädalaid või kuid varem jagatud isikuandmeid ja toob need ootamatult esile, võivad kasutajad tunda, et nende privaatsust on rikutud, kuigi nad seda teavet vabatahtlikult jagasid.
Arendajad töötavad nende probleemide lahendamise nimel selliste tehnikate abil nagu kontrollitud unustamine, selgesõnalise nõusoleku mehhanismid isikuandmete salvestamiseks ja eelarvamuste leevendamise strateegiad. Eesmärk on luua AI, mis mõistab konteksti piisavalt hästi, et olla abiks, muutumata pealetükkivaks või manipuleerivaks.
Samuti on läbipaistvuse väljakutse. Kuna kontekstuaalne mõistmine muutub keerukamaks, on kasutajatel üha raskem mõista, kuidas AI-süsteemid oma järeldustele jõuavad. AI-otsuste tegemise selgitamise meetodid kontekstist sõltuvate stsenaariumide puhul on aktiivne uurimisvaldkond.

Läbimurded kontekstuaalses mõistmises muudavad arvukalt valdkondi:
Tervishoius suudab kontekstuaalne tehisintellekt tõlgendada patsientide kaebusi nende haigusloo, elustiilifaktorite ja praeguste ravimite kontekstis. Kui patsient kirjeldab sümptomeid, saab süsteem esitada asjakohaseid järelküsimusi selle tervikliku konteksti põhjal, mitte üldise skripti järgimise põhjal.
Klienditeenindussüsteemid säilitavad nüüd vestluste ajalugu ja kontoteavet kogu suhtluse vältel, välistades masendava vajaduse teavet korrata. Nad suudavad keelemustrite põhjal tuvastada emotsionaalseid seisundeid ja vastavalt oma tooni kohandada – muutudes vastavalt kontekstile formaalsemaks või empaatilisemaks.
Haridusrakendused kasutavad kontekstuaalset teadlikkust õpilase õpiteekonna jälgimiseks, teadmiste lünkade ja väärarusaamade tuvastamiseks. Standardiseeritud sisu edastamise asemel kohandavad need süsteemid selgitusi õpilase varasemate küsimuste, vigade ja näidatud arusaamise põhjal.
Õigus- ja finantsdokumentide analüüs saab kontekstuaalsest mõistmisest tohutult kasu. Kaasaegne tehisintellekt suudab tõlgendada klausleid laiemas kontekstis, mis hõlmab terveid lepinguid, asjakohaseid õigusakte ja kohtupraktikat, märgates vastuolusid või potentsiaalseid probleeme, mis võivad teabe üleküllusega tegelevatele inimretsensentidele märkamata jääda.
Loomingulised tööriistad, näiteks kirjutamisassistendid, säilitavad nüüd pikkade teoste puhul temaatilise järjepidevuse, pakkudes välja sisu, mis on kooskõlas väljakujunenud tegelaste, keskkondade ja narratiiviliinidega, mitte üldise teksti täiendamisega.

Tulevikku vaadates võivad mitmed paljutõotavad uurimissuunad kontekstuaalset AI-d veelgi muuta:
Episoodiliste mälumudelite eesmärk on anda AI-süsteemidele midagi, mis sarnaneb inimese autobiograafilisele mälule – võime meeles pidada konkreetseid sündmusi ja kogemusi, mitte ainult statistilisi mustreid. See võimaldaks jagatud ajalool põhinevat palju isikupärastatumat suhtlust.
Põhjuslike arutlusraamistike eesmärk on liikuda kaugemale korrelatsioonipõhisest mustrituvastusest, et mõista põhjus-tagajärg seoseid. See võimaldaks AI-l arutleda kontrafaktuaalide üle ("Mis juhtuks, kui...") ja teha uudsetes kontekstides täpsemaid ennustusi.
Arendatakse kultuuridevahelisi kontekstuaalseid mudeleid, et mõista, kuidas kontekst erinevates kultuuriraamistikes nihkub, muutes tehisintellektisüsteemid kohanemisvõimelisemaks ja vähem kallutatud lääne kultuurinormide suhtes.
Kehastunud AI-uuringud uurivad, kuidas füüsiline kontekst – asumine keskkonnas, kus on võimalus sellega suhelda – muudab kontekstuaalset arusaamist. Robotid ja virtuaalsed agendid, mis saavad näha objekte, nendega manipuleerida ja ruumis navigeerida, arendavad teistsuguseid kontekstuaalseid mudeleid kui ainult tekstisüsteemid.
Lõppeesmärgiks jääb tehisintellekti (AGI) loomine inimsarnase kontekstimõistmisega – süsteemid, mis suudavad kõik need kontekstivormid sujuvalt integreerida, et suhelda ja maailma üle mõelda sama tõhusalt kui inimesed. Kuigi me oleme sellest verstapostist veel kaugel, viitab läbimurrete tempo sellele, et liigume selles suunas stabiilselt.
Kuna need tehnoloogiad arenevad edasi, muudavad need meie suhted masinatega jäigast, käsupõhisest suhtlusest sujuvaks, kontekstirikkaks koostööks, mis meenutab üha enam inimestevahelist suhtlust. AI, mis tõeliselt mõistab konteksti, ei ole ainult tehniline saavutus – see kujutab endast põhjapanevat nihet inimkonna tehnoloogilisel teekonnal.