Разработване и обучение на аудио и видео

 Първо приемаме, че някой има нулева основа в аудио и видео и никога не е научил никакви знания, свързани с цифрова обработка на сигнала. Математическата основа е основно средно училище, но той е запознат с разработването на C / C ++, поне запознат с компилирането и отстраняването на грешки в IDE под определена платформа.

Фокусирайте се върху двата проекта с отворен код ffmpeg и webRTC, като основно разглеждате видео частта на ffmpeg и аудио частта на webRTC.

Преди всичко, започнете с видео декодиране. Това е най-простият. Основният код за извикване на ffmpeg видео декодиране е само около 100 реда. Декодирането на видео трябва да разбере само h.264, 80% + сцени са в този формат за кодиране, да разберат основните H.264 sps pps NAL и други концепции за файлов формат, да разберат принципа на YUV формат на изображението и да разберат преобразуването на YUV в RGB , Така че можете да правите изобразяване на изображения, можете да постигнете прост видеоплейър. (По принцип на първия етап)

След това, за да научите повече за кодирането на видео, се препоръчва да започнете с x264, простото извикване на кода за кодиране x264 е по-малко от 100 реда. Кодирането е по-сложно от декодирането, тъй като декодирането не изисква конфигуриране на никакви параметри и кодирането има голям брой параметри, които трябва да бъдат конфигурирани. В началото просто разберете няколко основни понятия, като честота на кадрите, общи методи за контрол на потока ABR CRF, GOP, I / B Какво означава / P Frame съответно. (Отново запознат с кодирането на X264)

Кодекът на аудио частта е подобен на този на видеото. В началния етап трябва само да разберете двата енкодера EAAC + и Silk, да разберете концепциите за звуков канал, честота на дискретизация и т.н. и да разберете формата на файла Wave. Може да бъде обикновен аудио плейър. (Направете аудио плейър)

Сложната част на аудиото не е кодекът, а звуковият ефект. Разгледайте модула за обработка на звука в webRTC и разберете следните концепции: деноизиране на NS, отмяна на ехото AEC, откриване на безшумен VAD, автоматичен контрол на усилването AGC и вградения webRTC. Въпреки че алгоритъмът не е най-добрият, той може да реши 90% + от проблемите и си струва да се научите. (Научете обработка на аудио в webrtc)

След като научих това, трябва да помисля върху въпрос дали искам да мина по инженерен или алгоритмичен маршрут. Ако това е алгоритмичен маршрут, тогава трябва да уча математика. Зад цифровата обработка на сигнала стои голям брой основни математически теории. Ако това е инженерен маршрут, тогава трябва да научите междуплатформеното развитие, да научите събирането, възпроизвеждането и обработката на аудио и видео под множество платформи и да научите оптимизацията на асемблерния език под множество платформи. (Свързани с платформата)

Аудиото и видеото са много дълбоко поле и никога няма да завършите ученето през целия си живот, но това поле има предимството, че скоростта на актуализиране на знанията е относително бавна, научените неща не са лесни за премахване и натрупването на опит е много важно.v

Нашата друг продукт:

Професионална мълниезащитна система за Tower	Професионален пакет оборудване за FM радиостанция	FMUSER FU-1000C 1000W FM предавател с USB аудио входен интерфейс
Пакет FMUSER 200W FM радиоразпръскване	Хотелско IPTV решение	FMUSER FSN-1000T V5.0 1KW FM радио предавател