Význam kódování videa
Velký úložný prostor pro původní video data, video 1080P 7 s vyžaduje 817 MB
Původní přenos dat videa zabírá velkou šířku pásma a přenos videa za 11 s se šířkou pásma 7 Mb / s trvá 10 minut.
Po kódování a kompresi H.264 je velikost videa pouze 708 kB a šířka pásma 10 Mb / s potřebuje pouze 500 ms, což může uspokojit potřeby přenosu v reálném čase. Proto musí být původní video shromážděné ze snímače akvizice videa kódováno.
Základní
Proč tedy může být obrovské originální video zakódováno do velmi malého videa? Jaká je v tom technologie? Než začneme hovořit o technologii, měli bychom nejprve vytvořit koncept videa, který je spojitým obrazem.
Základní myšlenkou je odstranit nadbytečné informace:
Prostorová redundance: existuje silná korelace mezi sousedními pixely obrázku
Časová redundance: podobný obsah mezi sousedními obrázky ve videosekvenci
Redundance kódování: různé hodnoty pixelů mají různé pravděpodobnosti
Vizuální redundance: lidský vizuální systém není citlivý na určité detaily
Redundance znalostí: strukturu pravidelnosti lze získat z předchozích znalostí a základních znalostí
Video je v podstatě řada obrázků, které se přehrávají nepřetržitě a rychle, takže nejjednodušší způsob komprese videa je komprimovat každý snímek obrázků. Například starší kódování MJPEG má komprimovat každý snímek obrázků ve videu. Tato metoda kódování Existuje pouze intrarámcové kódování, které ke kódování využívá predikci prostorového vzorku. Metaforou obrazu je zacházet s každým snímkem jako s obrázkem a ke komprimaci obrázku použít formát kódování JPEG. Tento druh kódování bere v úvahu pouze kompresi nadbytečných informací v obrázku.
Kvůli časové korelaci mezi snímky však byly vyvinuty některé pokročilé kodéry, které mohou používat mezisnímkové kódování. Jednoduše řečeno, určité oblasti na snímku jsou vybrány pomocí vyhledávacího algoritmu a poté je vypočítán aktuální snímek. Jde o formu kódování s vektorovým rozdílem mezi předním a zadním referenčním snímkem. Prostřednictvím následujících dvou po sobě jdoucích snímků na obrázku 2 vidíme, že se lyžař posouvá dopředu, ale ve skutečnosti se sněhová scéna posouvá dozadu a na P snímek se odkazuje. Rámečky (I nebo jiné P snímky) lze kódovat, velikost po kódování je velmi malý a kompresní poměr je velmi vysoký.
Referenční odkaz o rám http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Někteří studenti by se mohli zajímat, jak tyto dva obrázky pocházejí. Tady jsou dva řádky příkazů FFmpeg, kterých je třeba dosáhnout. Další podrobnosti o FFmpeg naleznete v následujících kapitolách:
První řádek generuje video s pohyblivým vektorem
Druhý řádek vydává každý snímek jako obrázek
Použijte příkaz
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Kromě prostorové redundance a komprese časové redundance existují hlavně komprese kódování a vizuální komprese. Toto je hlavní vývojový diagram kodéru:
Obrázek 3 a obrázek 4 jsou dva procesy. Obrázek 3 je kódování uvnitř snímku a obrázek 4 je kódování mezi snímky. Hlavní rozdíl viděný z obrázku spočívá v tom, že první krok je jiný. Ve skutečnosti jsou tyto dva procesy také kombinovány. Obecně řečeno, I snímek a P snímek využívají kódování uvnitř rámce a mezisnímkové kódování.
Výběr kodéru
Vyřešil jsem princip a základní proces kodéru. Kodér prošel desítkami let vývoje. Vyvinul se z podpory pouze intra-frame kódování k nové generaci kodérů, které dnes představují H.265 a VP9. V současné době jsou analyzovány některé běžné kodéry a my vás vezmeme k prozkoumání světa kodérů.
H.264
Úvod
Projekt H.264 / AVC má v úmyslu vytvořit video standard. Ve srovnání se starým standardem může poskytovat vysoce kvalitní video s nižší šířkou pásma (jinými slovy, pouze poloviční šířka pásma než MPEG-2, H.263 nebo MPEG-4, část 2 nebo méně), aniž by to bylo příliš složité. je nemožné dosáhnout nebo jsou náklady na implementaci příliš vysoké. Dalším cílem je poskytnout dostatečnou flexibilitu pro použití v různých aplikacích, sítích a systémech, včetně vysoké a nízké šířky pásma, vysokého a nízkého rozlišení videa, vysílání, úložiště DVD, sítí RTP / IP a multimediálních telefonních systémů ITU-T.
H.264 / AVC obsahuje řadu nových funkcí, díky nimž je nejen efektivnější než předchozí kodeky, ale také jej lze použít v aplikacích v různých síťových prostředích. Díky tomuto technickému základu se H.264 stává hlavním kodekem používaným online video společnostmi včetně YouTube, ale jeho použití není příliš snadný úkol. Teoreticky vyžaduje použití H.264 spoustu peněz. Patentové poplatky.
Patentová licence
Stejně jako první a druhá část MPEG-2 a druhá část MPEG-4 i výrobci produktů a poskytovatelé služeb, kteří používají H.264 / AVC, musí platit patentové licenční poplatky držitelům patentů. Hlavním zdrojem těchto patentových licencí je soukromá organizace s názvem MPEG-LA LLC. Tato organizace nemá nic společného s MPEG Standardisation Organization, ale tato organizace také spravuje systém MPEG-2 Part One, Part Two Video a MPEG-4 Part One. Dvoudílné licence na video a další technologické patenty.
Je třeba požádat o další patentové licence u jiné soukromé organizace s názvem VIA Licensing, která také spravuje patentové licence pro zvukové kompresní standardy, jako jsou MPEG-2 AAC a MPEG-4 Audio.
Open source implementace H.264
openh264 je open source programovací kódování H.264 implementovaný společností Cisco. Ačkoli H.264 vyžaduje vysoký patentový poplatek, existuje roční limit na patentový poplatek. Poté, co společnost Cisco zaplatí roční poplatek za patent za OpenH264, je OpenH264 ve skutečnosti zdarma. Používejte jej zdarma.
x264 je bezplatný software pro kódování videa s licencí GPL. Hlavní funkcí x264 je provádět kódování videa H.264 / MPEG-4 AVC, nikoli jako dekodér.
Vyloučení problému nákladů pro srovnání:
Využití procesoru openh264 je mnohem nižší než u x264
openh264 podporuje pouze základní profil, x264 podporuje více profilů
HEVC / H.265
Úvod
High Efficiency Video Coding (HEVC) je standard komprese videa (nazývaný také H.265), který je považován za nástupce standardu ITU-T H.264 / MPEG-4 AVC. V roce 2004 se skupina ISO / IEC Moving Picture Experts Group (MPEG) a ITU-T Video Coding Experts Group (VCEG) začala rozvíjet jako ISO / IEC 23008-2 MPEG-H část 2 nebo ITU-T H.265. První verze standardu komprese videa HEVC / H.265 byla přijata jako oficiální standard Mezinárodní telekomunikační unie (ITU-T) 13. dubna 2013. HEVC se považuje nejen za zlepšení kvality videa, ale také za dosažení dvojnásobného kompresní poměr H.264 / MPEG-4 AVC (ekvivalent 50% snížení bitové rychlosti při stejné kvalitě obrazu) a podporuje rozlišení 4K a dokonce i televizi s vysokým rozlišením (UHDTV), nejvyšší rozlišení může dosáhnout 8192 × 4320 (rozlišení 8K).
Patentová licence
HEVC vyžaduje, aby všichni výrobci obsahu, kteří používají technologii H.265, včetně Apple, YouTube, Netflix, Facebook a Amazon, zaplatili 0.5% ze svých příjmů z obsahu jako poplatek za používání technologie. Celý trh mediálních datových proudů dosahuje každý rok přibližně 100 miliard amerických dolarů a nadále pokračuje. V růstu je poplatek ve výši 0.5% rozhodně obrovský poplatek. A nepustili výrobce zařízení, mezi nimiž musí výrobci televizí platit 1.5 USD za jednotku a výrobci mobilních zařízení 0.8 USD za jednotku v patentových poplatcích. Nepustili ani výrobce, jako jsou přehrávače zařízení Blu-ray, herní konzole a videorekordéry, kteří musí zaplatit každý 1.1 $.
Open source implementace H.265 / HEVC
libde265 HEVC poskytuje společnost struktur pod licencí open source GNU Lesser General Public License (LGPL) a diváci si mohou vychutnat obrázky v nejvyšší kvalitě při nižší rychlosti internetu. Ve srovnání s předchozími dekodéry založenými na standardu H.264 může dekodér libde265 HEVC přinést váš obsah ve vysokém rozlišení až dvojnásobku publika nebo snížit šířku pásma potřebnou pro streamování o 50%.
x265 je vyvinut společností MulticoreWare a je otevřen na základě dohody GPL.
VP8
Úvod
VP8 je otevřený formát komprese videa, který byl nejprve vyvinut společností On2 Technologies a poté vydán společností Google. Google zároveň vydal implementační knihovnu kódovanou VP8: libvpx, která byla vydána ve formě licenčních podmínek BSD, a následně přidala právo používat patent. Po několika argumentech byla autorizace VP8 nakonec potvrzena jako autorizace open source.
V současné době jsou webovými prohlížeči, které podporují VP8, Opera, Firefox a Chrome.
Patentová licence
V březnu 2013 společnost Google dosáhla dohody s MPEG LA a 11 držiteli patentů, které společnosti Google umožní získat VP8 a její předchozí VPx a další kódování, která mohou být porušena na patenty. Google může zároveň bezplatně znovu autorizovat související patenty uživatelům VP8. „Tato dohoda je vhodná i pro novou generaci kódování VPx. MPEG LA se zatím vzdal založení centralizované licenční aliance pro VP8 a uživatelé VP8 se budou moci rozhodnout použít tento kód zdarma, aniž by se obávali možných licenčních poplatků za porušení patentu.
Open source implementace VP8
Libvpx je jediná open source implementace VP8. Byl vyvinut společností On2 Technologies. Poté, co jej společnost Google získala, otevřela svůj zdrojový kód. Licence je velmi volná a lze ji volně používat.
VP9
Úvod
Vývoj VP9 začal ve třetím čtvrtletí roku 2011. Cílem je zmenšit velikost souboru o 50% ve srovnání s kódováním VP8 při stejné kvalitě obrazu. Dalším cílem je překonat HEVC kódování v efektivitě kódování.
Dne 13. prosince 2012 přidal prohlížeč Chromium podporu pro kódování VP9. Prohlížeč Chrome začal podporovat přehrávání videa kódovaného VP9 21. února 2013.
Google oznámil, že dokončí vývoj kódu VP9 17. června 2013, kdy bude prohlížeč Chrome ve výchozím nastavení řídit kód VP9. 18. března 2014 přidala Mozilla do prohlížeče Firefox podporu VP9.
3. dubna 2015 Google vydal libvpx1.4.0, který přidal podporu pro 10bitovou a 12bitovou bitovou hloubku, vzorkování chroma 4: 2: 2 a 4: 4: 4 a vícejádrové kódování / dekódování VP9.
Patentová licence
VP9 je otevřený formát pro formátování videa bez licenčních poplatků.
Open source implementace VP9
libvpx je jediná open source implementace VP9, vyvinutá a udržovaná společností Google. Některé z kódů sdílí VP8 a VP9 a zbytek jsou implementace kodeků VP8 a VP9.
Srovnání VP9 a H.264 a HEVC
Porovnání HEVC a H.264 při různých rozlišeních
Ve srovnání s H.264 / MPEG-4 je průměrné snížení přenosové rychlosti HEVC:
Je vidět, že bitová rychlost poklesla o více než 60%
HEVC (H.265) má větší výhodu v úspoře bitové rychlosti pro VP9 a H.264, přičemž při stejné PSNR ušetří 48.3% a 75.8%
H.264 má obrovskou výhodu v kódování času. Ve srovnání s VP9 a HEVC (H.265) je HEVC šestkrát vyšší než u VP6 a VP9 je téměř 9krát vyšší než u H.40.
