Key takeaways
- Zoom sa enligt uppgift att den skulle använda AI för att utvärdera en användares sentiment eller engagemangsnivå.
- Mänskliga rättighetsgrupper ber Zoom att ompröva sin plan på grund av integritets- och datasäkerhetsproblem.
- Vissa företag använder även mjukvara för att upptäcka känslor under intervjuer för att bedöma om användaren är uppmärksam.
Den växande användningen av artificiell intelligens (AI) för att övervaka mänskliga känslor väcker integritetsproblem.
Människorättsorganisationer ber Zoom att bromsa sin plan att införa känsloanalyserande AI i sin programvara för videokonferenser. Företaget har enligt uppgift sagt att det kommer att använda AI för att utvärdera en användares sentiment eller engagemangsnivå.
"Experter medger att känsloanalys inte fungerar", skrev konsortiet av människorättsgrupper, inklusive ACLU, i ett brev till Zoom. "Ansiktsuttryck kopplas ofta bort från känslorna under, och forskning har funnit att inte ens människor kan exakt läsa eller mäta andras känslor ibland. Att utveckla det här verktyget ger trovärdighet till pseudovetenskap och sätter ditt rykte på spel."
Zoom svarade inte omedelbart på en begäran från Lifewire om kommentar.
Håll koll på dina känslor
Enligt protokollartikeln skulle Zoom-övervakningssystemet Q for Sales kontrollera användarnas t altidsförhållande, svarstidsfördröjning och frekventa talarbyten för att spåra hur engagerad personen är. Zoom skulle använda denna data för att tilldela poäng mellan noll och 100, med högre poäng som indikerar högre engagemang eller sentiment.
Människorättsgrupperna hävdar att programvaran kan diskriminera personer med funktionshinder eller vissa etniska tillhörigheter genom att anta att alla använder samma ansiktsuttryck, röstmönster och kroppsspråk för att kommunicera. Grupperna föreslår också att programvaran kan utgöra en datasäkerhetsrisk.
"Att skörda djupt personlig information kan göra vilken enhet som helst som använder den här tekniken till ett mål för att snoka statliga myndigheter och illvilliga hackare", enligt brevet.
Julia Stoyanovich, professor i datavetenskap och teknik vid New York University, sa i en e-postintervju till Lifewire att hon är skeptisk till påståendena bakom känsloupptäckt.
"Jag ser inte hur sådan teknik kan göra att arbetsmänniskors känslomässiga uttryck är väldigt individuellt, väldigt kulturellt beroende och väldigt kontextspecifikt", sa Stoyanovich."Men, kanske ännu viktigare, jag ser inte varför vi skulle vilja att dessa verktyg skulle fungera. Med andra ord, vi skulle ha ännu mer problem om de fungerade bra. Men kanske redan innan vi tänker på riskerna borde vi fråga-vilka är de potentiella fördelarna med sådan teknik?"
Zoom är inte det enda företaget som använder programvara för känsloupptäckande. Theo Wills, senior director för integritet på Kuma LLC, ett integritets- och säkerhetskonsultföretag, sa till Lifewire via e-post att programvara för att upptäcka känslor används under intervjuer för att bedöma om användaren är uppmärksam. Det testas också inom transportbranschen för att övervaka om förarna verkar dåsiga, på videoplattformar för att mäta intresse och skräddarsy rekommendationer och i pedagogiska handledningar för att avgöra om en viss undervisningsmetod är engagerande.
Wills hävdade att kontroversen kring programvara för känsloövervakning är mer en fråga om dataetik än integritet. Hon sa att det handlar om att systemet fattar verkliga beslut baserade på förnimmelser.
"Med den här tekniken antar du nu anledningen till att jag har ett speciellt uttryck i ansiktet, men drivkraften bakom ett uttryck varierar mycket på grund av saker som social eller kulturell uppväxt, familjebeteenden, tidigare erfarenheter eller nervositet just nu, tillade Wills. "Att basera algoritmen på ett antagande är i sig felaktigt och potentiellt diskriminerande. Många populationer är inte representerade i populationen algoritmerna är baserade på, och lämplig representation måste prioriteras innan detta bör användas."
Praktiska överväganden
Problemen som uppstår med programvara för känslospårning kan vara både praktiska och teoretiska. Matt Heisie, en av grundarna av Ferret.ai, en AI-driven app som tillhandahåller relationsintelligens, sa till Lifewire i ett e-postmeddelande att användare måste fråga var analysen av ansikten görs och vilken data som lagras. Görs studien på samtalsinspelningar, bearbetas i molnet eller på den lokala enheten?
Också, frågade Heisie, som algoritmen lär sig, vilken data den samlar in om en persons ansikte eller rörelser som potentiellt skulle kunna lossas från algoritmen och användas för att återskapa någons biometri? Lagrar företaget ögonblicksbilder för att verifiera eller validera algoritmens lärdomar, och meddelas användaren om denna nya härledda data eller lagrade bilder som eventuellt samlas in från deras samtal?
"Det här är alla problem som många företag har löst, men det finns också företag som har skakat av skandal när det visar sig att de inte har gjort det här korrekt", sa Heisie. "Facebook är det viktigaste fallet av ett företag som rullade tillbaka sin ansiktsigenkänningsplattform på grund av oro för användarnas integritet. Moderbolaget Meta drar nu AR-funktioner från Instagram i vissa jurisdiktioner som Illinois och Texas på grund av integritetslagar kring biometriska data."
