Microsoft a prezentat trei modele AI pentru conversații vocale mai rapide

• MAI-Transcribe-2-Streaming afișează primele rezultate ale transcrierii la câteva sute de milisecunde după ce primește sunetul, apoi actualizează și corectează textul pe măsură ce utilizatorul continuă să vorbească. Modelul recunoaște automat și limba vorbită.

• Cele trei modele au funcții diferite: MAI-Transcribe-2-Streaming transformă vorbirea în text, MAI-Voice-2.1 generează voce expresivă din text în mai multe limbi, iar MAI-Voice-2.1-Flash este conceput pentru răspunsuri vocale rapide, inclusiv în aplicații cu un volum mare de conversații.

• Procesarea rapidă îi permite sistemului să pregătească un răspuns înainte ca utilizatorul să-și încheie propoziția. Microsoft dă exemplul unui apel către serviciul de relații cu clienții, unde sistemul poate începe să pregătească răspunsul în timp ce persoana explică problema unei facturi. Modelele pot fi folosite și în asistenți vocali, traducere și transcriere în timp real, subtitrare live și aplicații educaționale.

• Un răspuns prea rapid poate duce la interpretarea greșită a pauzelor. Amit Kiran Rege, cercetător la Phonely, avertizează că sistemul poate considera că utilizatorul a terminat, deși acesta doar se oprește pentru a se gândi. Prin urmare, dezvoltatorii trebuie să îmbunătățească atât viteza transcrierii, cât și recunoașterea momentului în care utilizatorul și-a încheiat cererea.

• Potrivit Microsoft, MAI-Transcribe-2-Streaming a obținut cele mai bune rezultate în clasamentul Artificial Analysis atât la transcrierile intermediare, cât și la cele finale.