Key takeaways
- ToxMod, av det Boston-baserade företaget Modulate, hävdar att de upptäcker och agerar mot störande tal automatiskt i re altid.
- Istället för att begränsas av ett enkelt språk använder ToxMod maskininlärning för att ta reda på immateriella saker som känslor, volym och rytm.
- ToxMod är för närvarande utformad för användning med chattrum i spelet, men det finns ingen anledning att det inte kunde komma till din Twitch-kanal.
Ett Boston-baserat företag använder maskininlärning för att skapa vad det fakturerar som världens första röstbaserade modereringstjänst, som kan se skillnaden mellan vad som sägs och vad det betyder.
ToxMod är ett försök att lösa paradoxen med att moderera alla öppna utrymmen på Internet; det finns inte tillräckligt många människor för att hänga med efterfrågan, men algoritmer, filter och ett rapportsystem förstår inte nyanser.
Med ToxMods databas kan den spåra faktorer i spelarnas tal som känslor och volym, vilket hjälper den att skilja mellan ett tillfälligt förfall och ett beteendemönster. Det tillkännagavs nyligen som ett tillägg till 7v7 amerikansk fotbollsspel Gridiron, för närvarande i Steam Early Access.
"Alla vet att trakasserier, hatretorik och toxicitet i röstchatt och spel är ett enormt problem. Det är allmänt känt", sa Carter Huffman, teknisk chef och medgrundare av Modulate, i ett Google-möte med Lifewire. "Vi kunde ta funktionerna som vi extraherade genom denna mängd maskininlärningssystem och sammansmälta det till ett system som tog hänsyn till all denna expertkunskap som vi lärde oss från samhället."
Alla hälsar våra nya robotmoderatorer
Modulate har arbetat med ToxMod sedan i höstas och har införlivat det som en av företagets tre kärntjänster. Den erbjuder också VoiceWear, en röstförklädnad som drivs av maskininlärning, och VoiceVibe, en aggregatortjänst som låter användare ta reda på vad människorna i deras samhällen diskuterar.
När ToxMod körs i en chatt kan den programmeras via Modulates adminpanel för att utföra en mängd olika automatiska åtgärder, som att utfärda varningar, stänga av spelare eller individuellt justera volymen.
Den använder ett triage-system där dess lokala instans är den första som vidtar åtgärder innan den kontrollerar med Modulates servrar för bekräftelse. Sedan eskalerar det till slut till den punkt där det kan kräva mänskligt ingripande. Genom att gå igenom varje kontroll i tur och ordning, som Modulate kallar "triage-gates", är tanken att ToxMod ger ett litet team av moderatorer verktygen för att effektivt moderera en mycket större community.
"Den sorgliga sanningen är att alla har haft den upplevelsen, att försöka använda röstchatt på vilken plattform du än var på, och upptäckt att det var en dålig idé", sa Modulates vd Mike Pappas i en videosamtal med Lifewire. "Att kunna gå in och säga: 'Det här är inte vilda västern. Det finns regler.' Jag tror att det är väldigt viktigt."
Breaking the System
Naturligtvis är den andra eller tredje frågan att ställa om ToxMod hur man bryter den.
Med många automatiska modereringssystem, som algoritmerna som styr Twitter, är det lätt att spela dem mot människor du inte gillar. Massrapportera bara ditt mål med några sock-puppet-konton så kommer de tillförlitligt äta ett förbud.
"På en baslinjenivå behöver ToxMod inte förlita sig på dessa ytterligare spelarrapporter", sa Pappas. "Det kan fortfarande producera solida uppskattningar av vilka brott vi behöver uppmärksamma. Du behöver inte oroa dig för att spelare försöker spela systemet, eftersom det egentligen inte finns något att spela.
Alla vet att trakasserier, hatretorik och toxicitet i röstchatt och spel är ett enormt problem.
"Allt du har kontroll över som spelare är ditt eget ljud", fortsatte Pappas. "Det värsta du kan göra är att vara mindre dålig mot en person så att vi inte flaggar dig som en dålig skådespelare, vilket jag skulle säga är något nära uppdragsframgång."
I allmänhet är idén bakom ToxMod ett aktivt återvinningsförsök. Många spelare har vid det här laget upplevt någon form av trakasserier från slumpmässiga främlingar i öppna röstkanaler, allt från slumpmässiga förolämpningar till aktiva hot. Som ett resultat av detta tenderar spelare att dra sig för röstchatt i allmänhet och föredrar att ge upp bekvämligheten i utbyte mot sin egen sinnesfrid.
"Vad vi förväntar oss att se [är dåliga skådespelare som spenderar] mycket mindre tid i röstchatt innan de hittas och tas bort", sa Pappas."Det har mer än bara en linjär inverkan. När alla ser röstchatt som en säkrare plats är fler bra skådespelare villiga att komma tillbaka till röstchatt och prova. Jag tror att allt kan spiral i en positiv riktning."
