Vývoj a učení zvuku a videa

Nejprve předpokládáme, že někdo má nulové základy v oblasti zvuku a videa a nikdy se nenaučil žádné znalosti související se zpracováním digitálního signálu. Matematický základ je v podstatě na střední škole, ale je obeznámen s vývojem v C / C ++, alespoň s kompilací a laděním IDE pod určitou platformou.

Zaměřte se na dva open source projekty ffmpeg a webRTC, zaměřte se hlavně na video část ffmpeg a zvukovou část webRTC.

Za prvé, začněte s dekódováním videa. Toto je nejjednodušší. Základní kód pro volání dekódování videa ffmpeg je pouze asi 100 řádků. Dekódování videa potřebuje pouze porozumět formátu h.264, 80% + scén je v tomto formátu kódování, porozumět základním konceptům formátu H.264 sps pps NAL a dalším konceptům formátu souborů, porozumět principu formátu obrazu YUV a porozumět převodu YUV na RGB „Takže můžete dělat vykreslování obrázků, můžete dosáhnout jednoduchého videopřehrávače. (V zásadě v první fázi)

Chcete-li se dozvědět více o kódování videa, doporučujeme začít s x264, jednoduché volání kódovacího kódu x264 je menší než 100 řádků. Kódování je složitější než dekódování, protože dekódování nevyžaduje konfiguraci žádných parametrů a kódování má velký počet parametrů, které je třeba konfigurovat. Na začátku pochopte několik základních konceptů, jako je snímková frekvence, běžné metody řízení toku ABR CRF, GOP, I / B Co znamená / P Frame. (Známé opět s kódováním X264)

Kodek zvukové části je podobný jako u videa. V počáteční fázi musíte porozumět pouze dvěma kodérům EAAC + a Silk, porozumět konceptům zvukového kanálu, vzorkovací frekvenci atd. A porozumět formátu souboru Wave. Může to být jednoduchý audio přehrávač. (Vytvořit zvukový přehrávač)

Složitá část zvuku není kodek, ale zvukový efekt. Podívejte se na modul Audio Processing ve webRTC a pochopte následující koncepty: potlačení NS, potlačení ozvěny AEC, detekce ztlumení VAD, automatické řízení zisku AGC a integrovaný webRTC. Ačkoli algoritmus není nejlepší, dokáže vyřešit více než 90% problémů a stojí za to se ho naučit. (Naučte se zpracování zvuku webrtc)

Poté, co jsem se to naučil, musím přemýšlet o otázce, zda se chci vydat inženýrskou cestou nebo algoritmickou cestou. Pokud jde o algoritmický směr, musím se naučit matematiku. Za digitálním zpracováním signálu stojí velké množství základních matematických teorií. Pokud se jedná o inženýrskou cestu, musíte se naučit vývoj napříč platformami, naučit se sběr, přehrávání a zpracování zvuku a videa na více platformách a naučit se optimalizaci jazyka sestavení na více platformách. (Související s platformou)

Zvuk a video jsou velmi hluboké pole a učení se za celý život nikdy nedokončíte, ale toto pole má tu výhodu, že rychlost aktualizace znalostí je relativně pomalá, naučené věci nelze snadno eliminovat a hromadění zkušeností je velmi důležité. v