NVIDIA Nemotron 3.5 Transcribe және Granary v2: Интеллектуалды көптілді транскрипция және адаптациялау мүмкіндіктері

Кіріспе

Сөйлеуді мәтінге айналдыру саласында жасанды интеллект технологиялары ерекше дамуда. Атап айтқанда, көптілді транскрипция, сөйлеуші тұлғаны анықтау, аударма және дауысты сұрақ-жауап жүйелері сан алуан салада қажетті технологияларға айналды. NVIDIA Nemotron 3.5 Transcribe моделі де осындай кешенді шешімді ұсынады. Бұл модель көптілді транскрипция мен сөйлеушіні бөлу мүмкіндіктерін біріктіруге және арнайы талаптарға бейімделуге мүмкіндік береді. Сондықтан оның маңызы жоғары әрі өзекті.

Негізгі түсіндірме

NVIDIA Nemotron 3.5 Transcribe – ашық салмақты, жедел бағыталған модель, ол жазылған аудио мәліметтерді мәтінге айналдырады. Бұл модель 40 тілде транскрипция жасайды, олардың 31 тілінен ағылшынға немесе ағылшыннан аударма ұсынады, әрі 13 тілде сөйлеуші тұлғаны анықтайды. Сонымен бірге, Nemotron 3.5 Transcribe бір сағатқа дейінгі жазбаларды өңдей алады және сегізге дейін сөйлеушіні айыра алады.

Модельдің қызметін табиғи тілде берілген командалармен басқаруға болады. Бұл дегеніміз, пайдаланушылар мәтін шығаруда қандай мәлімет алу керегін нақты көрсете алады. Мысалы, жазбаны транскрипциялап, сөйлеушінің аттарын белгілеу, аудионы аударма жасау немесе дыбыстық сұрақтарға жауап беру сияқты тапсырмаларды орындауға болады.

Nemotron 3.5 Transcribe-дың ерекшелігі – нейрондық желілерден құралған үлкен тілдік модель мен арнайы сөйлеу кодтық кодтағышының үйлесімі. Осы арқылы әрбір сөз үшін шамамен төрт миллиард параметр белсенді жұмыс істейді, бұл дәстүрлі модельдерге қарағанда есептеу тиімділігі жоғары екенін көрсетеді.

Контекст және мысалдар

Nemotron 3.5 Transcribe моделі сөздік қоры мен домендік ерекшеліктерге икемделу мүмкіндігіне ие. Мысалы, медициналық салада қолданғанда, HbA1c, метформин және басқа да терминдер аудиода расталған жағдайда ғана мәтінге енгізіледі. Бұл әдіс, тыңдалымға сәйкес нақты, стандартталған медициналық терминологияны сақтауға бағытталған.

Модельдің жұмысын нақты көрсету үшін, 1940 жылы түсірілген His Girl Friday фильміінен үзінді қолданылды. Бұл фильм қарқынды, қабаттасқан диалогтары бардықтан, транскрипция мен сөйлеуші белгілеу күрделі есептегіштерінің тиімділігін сынау үшін тиімді үлгі болды.

Сонымен бірге, Nemotron 3.5 Transcribe түрлі тілдердегі дауыс жазбаларын бір жазбадан бірнеше түрлі нәтиже алу үшін өңдей алады. Мысалы, бір жазбадан транскрипция, аударма және дауыстық сұрақ-жауап алу мүмкіндігі бар.

Практикалық маңызы

Nemotron 3.5 Transcribe моделі нақты уақыттағы сабақтарды әрі қарай оқу үшін тиімді трансформациялайды. Мысалы, Agora платформасы осы технологияны қолданып, нақты уақыттағы дыбыстық сабақтарды автоматты түрде мәтінге айналдырып, студенттерге қай кезде не айтылғанын көрсету мүмкіндігін жасады. Бұл білім беру процесін жақсарту үшін маңызды құрал.

Модельдің тиімділігі түрлі эталондық тестілерде дәлелденді. Hugging Face Open ASR Leaderboard бойынша ашық салмақтағы модельдер арасында ағылшын тіліндегі сөз қатесі деңгейі 5.33% көрсеткішімен көшбасшы болып тұр. Сондай-ақ, оның сөйлеушіні анықтаудағы қатесі 21 тіл бойынша ең төмен, 18.26% деңгейінде.

Жоғары жылдамдықтағы транскрипция да бір артықшылығы. Жаңа квантталған нұсқасы NVIDIA RTX PRO 6000 Blackwell GPU-да 100 сағаттық аудионы үш минуттың ішінде өңдей алады. Бұл өндірістік масштабта кең қолдануға мүмкіндік береді.

Қорытынды

NVIDIA Nemotron 3.5 Transcribe – көптілді транскрипция, сөйлеушіні анықтау, аударма және аудио сұрақ-жауап қызметтерін бір арналы платформада біріктіретін жаңа буын модель. Оның икемділігі мен жоғары дәлдігі түрлі салаларда қолдануда елеулі нәтижелерге қол жеткізуге жәрдемдеседі. Медицина, білім беру, көптілді іскерлік кездесулер сияқты күрделі тапсырмаларды шешуге арналып, пайдаланушыларға ыңғайлы басқару әдістерін ұсынады.

Дереккөз: Hugging Face Blog