Key takeaways
- Forskare har skapat tekniker som låter användare rangordna resultaten av en maskininlärningsmodells beteende.
- Experter säger att metoden visar att maskiner kommer ikapp människors tankeförmåga.
- Framsteg inom AI skulle kunna påskynda utvecklingen av datorers förmåga att förstå språk och revolutionera hur AI och människor interagerar.
En ny teknik som mäter resonemangskraften hos artificiell intelligens (AI) visar att maskiner kommer ikapp människor i deras förmåga att tänka, säger experter.
Forskare vid MIT och IBM Research har skapat en metod som gör det möjligt för en användare att rangordna resultaten av en maskininlärningsmodells beteende. Deras teknik, som kallas Shared Interest, innehåller mätvärden som jämför hur väl en modells tänkande matchar människors.
"Idag kan AI nå (och i vissa fall överträffa) mänsklig prestation i specifika uppgifter, inklusive bildigenkänning och språkförståelse", Pieter Buteneers, chef för ingenjörsteknik inom maskininlärning och AI på kommunikationsområdet företaget Sinch, berättade för Lifewire i en e-postintervju. "Med naturlig språkbehandling (NLP) kan AI-system tolka, skriva och tala språk såväl som människor, och AI kan till och med justera sin dialekt och ton för att passa sina mänskliga kamrater."
Artificial Smarts
AI ger ofta resultat utan att förklara varför dessa beslut är korrekta. Och verktyg som hjälper experter att förstå en modells resonemang ger ofta bara insikter, bara ett exempel i taget. AI tränas vanligtvis med hjälp av miljontals datainmatningar, vilket gör det svårt för en människa att utvärdera tillräckligt många beslut för att identifiera mönster.
I en ny artikel sa forskarna att delat intresse kan hjälpa en användare att upptäcka trender i en modells beslutsfattande. Och dessa insikter kan göra det möjligt för användaren att bestämma om en modell är redo att distribueras.
"När vi utvecklar Shared Interest är vårt mål att kunna skala upp denna analysprocess så att du på en mer global nivå kan förstå hur din modell beteende är", Angie Boggust, medförfattare till tidningen, sa i pressmeddelandet.
Delat intresse använder en teknik som visar hur en maskininlärningsmodell fattade ett visst beslut, så kallade framträdande metoder. Om modellen klassificerar bilder, framhäver framträdande metoder områden av en bild som är viktiga för modellen när den fattar sitt beslut. Delat intresse fungerar genom att jämföra framträdande metoder med mänskligt genererade kommentarer.
Forskare använde Shared Intresse för att hjälpa en hudläkare att avgöra om han skulle lita på en maskininlärningsmodell utformad för att hjälpa till att diagnostisera cancer från foton av hudskador. Delat intresse gjorde det möjligt för hudläkaren att snabbt se exempel på modellens korrekta och felaktiga förutsägelser. Hudläkaren beslutade att han inte kunde lita på modellen eftersom den gjorde för många förutsägelser baserade på bildartefakter snarare än faktiska lesioner.
“Värdet här är att genom att använda delat intresse kan vi se dessa mönster dyka upp i vår modells beteende. På ungefär en halvtimme kunde hudläkaren bestämma om den skulle lita på modellen eller inte och om den skulle användas eller inte, säger Boggust.
Resonemanget bakom en modells beslut är viktigt för både maskininlärningsforskare och beslutsfattare.
Measuring Progress
Arbetet av MIT-forskare kan vara ett viktigt steg framåt för AI:s framsteg mot intelligens på mänsklig nivå, sa Ben Hagag, forskningschef på Darrow, ett företag som använder maskininlärningsalgoritmer, att berättade för Lifewire i en e-postintervju.
"Resonemangen bakom en modells beslut är viktigt för både maskininlärningsforskare och beslutsfattare", sa Hagag. "Den förra vill förstå hur bra modellen är och hur den kan förbättras, medan den senare vill utveckla en känsla av förtroende för modellen, så de måste förstå varför den produktionen förutspåddes."
Men Hagag varnade för att MIT-forskningen är baserad på antagandet att vi förstår eller kan kommentera mänsklig förståelse eller mänskligt resonemang.
"Det finns dock en möjlighet att detta inte är korrekt, så mer arbete med att förstå mänskligt beslutsfattande är nödvändigt", tillade Hagag.
Framsteg inom AI kan påskynda utvecklingen av datorers förmåga att förstå språk och revolutionera sättet AI och människor interagerar på, sa Buteneers. Chatbots kan förstå hundratals språk samtidigt, och AI-assistenter kan skanna textkroppar efter svar på frågor eller oegentligheter.
"Vissa algoritmer kan till och med identifiera när meddelanden är bedrägliga, vilket kan hjälpa företag och konsumenter att rensa bort spammeddelanden", tillade Buteneers.
Men, sa Buteneers, AI gör fortfarande några misstag som människor aldrig skulle göra. "Även om vissa oroar sig för att AI kommer att ersätta mänskliga jobb, är verkligheten att vi alltid kommer att behöva människor som arbetar tillsammans med AI-robotar för att hjälpa till att hålla dem i schack och hålla dessa misstag på avstånd samtidigt som vi behåller en mänsklig kontakt i verksamheten", tillade han.
