Key takeaways
- Navi använder SharePlay och Apples inbyggda tal-till-text för att erbjuda undertexter och översättningar i FaceTime.
- Det är långt ifrån perfekt men redan tillräckligt bra.
- Undertexter är bra för tillgänglighet.
Navi är en app som lägger till live undertexter och re altidsöversättningar till dina FaceTime-samtal.
Appen använder SharePlay och inbyggd taligenkänning för att lägga till undertexter och översättningar på 20 språk till dina FaceTime-samtal. Det är en otrolig användning av SharePlay, som de flesta av oss ser som ett gimmickigt sätt att titta på synkroniserade filmer med människor på andra platser. Du kanske inte behöver avskeda din översättare än, men en app som gör det här bra kan vara vansinnigt användbar.
"Jag får inte ljudet från FaceTime-samtalet", skriver Navi-utvecklaren Jordi Bruin på Twitter, "men använder SharePlay för att dela det mellan deltagarna i samtalet."
SharePlay
SharePlay är en ny funktion i iOS 15 och macOS 12.1 som låter dig dela och synkronisera saker i FaceTime-samtal. Med filmtittningsexemplet ovan kan vilken deltagare som helst pausa eller spela upp filmen, till exempel medan ni alla chattar i FaceTime-samtalet. FaceTime-videon förblir öppen i en liten, flytande bild-i-bild-panel, och varje deltagare kör appen lok alt på sin enhet. SharePlays knep är att synkronisera vad som än händer i dessa lokala appar, så att alla delar upplevelsen, oavsett om det är en film, ett Fitness+-pass eller ett kalkylblad.
Navi använder samma teknik, bara in-call-appen är inte en film-det är en översättningsmotor i re altid. För att använda den startar du appen under ett FaceTime-samtal och trycker på knappen "Slå på undertexter". Sedan kan andra deltagare också gå med i handlingen och se live undertexter för den aktuella talaren. Om någon monologer växer deras pratbubbla och sitter kvar lite längre.
För döva kan detta betyda skillnaden mellan att ringa folk eller inte. Och för alla betyder det att du kan ha användbara konversationer mellan människor som inte delar ett språk.
Universal Text
Internet bygger på text, och det är bra. Den är liten och lätt att skapa, läsa och översätta. Det är också enkelt att förvandla till syntetiserat tal. Resultatet är att vem som helst från var som helst kan delta i vilken konversation som helst. Språket är ingen barriär, och det är inte dövhet eller någon form av blindhet heller - så länge du använder en enhet med bra tillgänglighetsverktyg för nedsatt syn eller hörsel.
Men det talade ordet är mycket svårare att bearbeta. Tal-till-text-diktering är imponerande, men det är först relativt nyligen som allmän taligenkänning har blivit tillräckligt bra för allmänt bruk - Apples Translate-app är ett bra exempel. Den introducerades i iOS 15 och erbjuder ljudöversättningar i re altid. Om vi fortfarande åkte på utlandssemester skulle det vara perfekt.
Nu använder vi video mer och mer för arbetet och för att hålla kontakten med vänner och familj. Oavsett hur vi arbetar i framtiden så har barriären för videosamtal krossats ordentligt. Det är nu ett vanligt verktyg, men det saknar mycket finessen hos skriftliga kommunikationsverktyg.
Något som Navi, som erbjuder undertexter och översättning i re altid, kan vara betydelsefullt. Tillgänglighet är en aspekt, men förmågan att samtala med människor vars språk du inte talar öppnar upp för internationella affärer i en häpnadsväckande grad.
In Action
Jag testade Navi med apputvecklaren, författaren och hörapparatanvändaren Graham Bower. Det är ganska bra men ännu inte redo för kritiska uppgifter. Vissa av transkriptionerna var komiskt dåliga och för vulgära för att kunna relateras. När vårt samtal fortsatte blev det dock mycket bättre på att korrekt känna igen hans tal. Det är vettigt eftersom iOS-dikteringsmotorn anpassar sig till din röst med tiden.
Översättningen fungerade också, även om kvaliteten på dess översättningar beror på inmatningens noggrannhet.
Det är lätt att projicera den här typen av teknik i framtida Apple-glasögon eller vad det nu ryktas om AR/VR-produkt som arbetar med den här veckan.
"Jag kan se detta fungera i AR-glasögon", sa Bower under vårt samtal. "Vissa människor, även med normal hörsel, föredrar undertexter i filmer. Det här skulle vara som undertexter i verkligheten."
Medan en imponerande teknisk demo är Navi inte där än. För pålitlig affärsanvändning måste Apples initiala taligenkänning bli mycket mer exakt. Men hastighetsmässigt är det bra, och översättningarna är hur bra som helst.
Men vi är på väg nu, och sånt här kommer bara att bli bättre.
