Key takeaways
- Ett nytt mjukvaruverktyg gör att AI kan övervaka internetkommentarer för hatretorik.
- AI behövs för att moderera internetinnehåll på grund av den enorma mängd material som överträffar mänskliga förmågor.
- Men vissa experter säger att AI-övervakning av tal väcker integritetsproblem.
I takt med att hatretorik online ökar, säger ett företag att det kan ha en lösning som inte är beroende av mänskliga moderatorer.
En startup som heter Spectrum Labs tillhandahåller artificiell intelligensteknologi till plattformsleverantörer för att upptäcka och stänga av giftiga börser i re altid. Men experter säger att AI-övervakning också väcker sekretessproblem.
"AI-övervakning kräver ofta att man tittar på mönster över tid, vilket kräver att man behåller data", sa David Moody, en senior associate på Schellman, ett företag för bedömning av säkerhet och integritetsefterlevnad, till Lifewire i en e-postintervju. "Denna data kan inkludera data som lagar har flaggat som sekretessdata (personligt identifierbar information eller PII)."
Mer hatretorik
Spectrum Labs utlovar en högteknologisk lösning på det urgamla problemet med hatretorik.
"I genomsnitt hjälper vi plattformar att minska insatserna för innehållsmoderering med 50 % och öka upptäckten av giftiga beteenden med 10x", hävdar företaget på sin webbplats.
Spectrum säger att det samarbetade med forskningsinstitut med expertis inom specifika skadliga beteenden för att bygga över 40 modeller för beteendeidentifiering. Företagets plattform för moderering av innehåll Guardian byggdes av ett team av datavetare och moderatorer för att "stödja att skydda samhällen från toxicitet."
Det finns ett växande behov av sätt att bekämpa hatretorik eftersom det är omöjligt för en människa att övervaka varje del av onlinetrafik, Dylan Fox, VD för AssemblyAI, en startup som tillhandahåller taligenkänning och har kunder involverade i att övervaka hat tal, sa till Lifewire i en e-postintervju.
"Det finns ungefär 500 miljoner tweets om dagen bara på Twitter", tillade han. "Även om en person kunde kontrollera en tweet var tionde sekund, skulle twitter behöva anställa 60 tusen personer för att göra detta. Istället använder vi smarta verktyg som AI för att automatisera processen."
Till skillnad från en människa kan AI fungera 24/7 och potentiellt vara mer rättvis eftersom den är utformad för att enhetligt tillämpa sina regler på alla användare utan att någon personlig övertygelse stör, sa Fox. Det tillkommer också en kostnad för de personer som måste övervaka och moderera innehåll.
"De kan utsättas för våld, hat och elaka handlingar, vilket kan vara skadligt för en persons mentala hälsa", sa han.
Spectrum är inte det enda företaget som försöker upptäcka hatretorik online automatiskt. Till exempel lanserade Center Malaysia nyligen en onlinespårare utformad för att hitta hatretorik bland malaysiska nätanvändare. Mjukvaran de utvecklade, kallad Tracker Benci, använder maskininlärning för att upptäcka hatretorik online, särskilt på Twitter.
Utmaningen är hur man skapar utrymmen där människor verkligen kan engagera sig konstruktivt med varandra.
Sekretessfrågor
Medan tekniska lösningar som Spectrum kan bekämpa hatretorik online, väcker de också frågor om hur mycket polisdatorer ska göra.
Det finns implikationer för yttrandefrihet, men inte bara för talare vars inlägg skulle tas bort som hatretorik, sa Irina Raicu, chef för internetetik vid Markkula Center for Applied Ethics vid Santa Clara University, till Lifewire i ett e-postmeddelande intervju.
"Att tillåta trakasserier i "yttrandefrihetens namn" har drivit målen för sådant yttrande (särskilt när det är riktat mot vissa individer) att sluta tala - för att helt överge olika konversationer och plattformar", sa Raicu."Utmaningen är hur man skapar utrymmen där människor verkligen kan engagera sig konstruktivt med varandra."
AI-talövervakning bör inte ge upphov till sekretessproblem om företag använder allmänt tillgänglig information under övervakning, sa Fox. Men om företaget köper information om hur användare interagerar på andra plattformar för att i förväg identifiera problematiska användare, kan detta ge upphov till integritetsproblem.
"Det kan definitivt vara lite av en gråzon, beroende på applikationen", tillade han.
Justin Davis, VD för Spectrum Labs sa till Lifewire i ett e-postmeddelande att företagets teknologi kan granska 2 till 5 tusen rader med data inom bråkdelar av en sekund. "Det viktigaste är att tekniken kan minska mängden giftigt innehåll som mänskliga moderatorer utsätts för", sa han.
Vi kan vara på väg mot en revolution inom AI som övervakar mänskligt tal och text online. Framtida framsteg inkluderar bättre oberoende och autonoma övervakningsmöjligheter för att identifiera tidigare okända former av hatretorik eller andra censurerbara mönster som kommer att utvecklas, sa Moody.
AI kommer också snart att kunna känna igen mönster i de specifika talmönstren och relatera källor och deras andra aktiviteter genom nyhetsanalys, offentlig anmälan, trafikmönsteranalys, fysisk övervakning och många andra alternativ, tillade han.
Men vissa experter säger att människor alltid kommer att behöva arbeta med datorer för att övervaka hatretorik.
"AI ensam kommer inte att fungera", sa Raicu. "Det måste erkännas som ett ofullkomligt verktyg som måste användas tillsammans med andra svar."
Rättelse 2022-1-25: Lade till citat från Justin Davis i 5:e stycket från slutet för att återspegla ett e-postmeddelande efter publicering.
