Целта на проекта H.264/AVC е да създаде стандарт, който може да осигури добро качество на видеото при много по-ниска скорост на предаване в сравнение с предишните стандарти (т.е. половината битрейт на MPEG-2, H.263 или MPEG- или Повече ▼). ниско). 4, част 2), без да увеличава сложността на дизайна, така че да е непрактичен или твърде скъп за изпълнение. Друга цел е да се осигури достатъчно гъвкавост, която да позволи прилагането на стандарта към различни приложения в различни мрежи и системи, включително ниски и високи битрейтове, видео с ниска и висока разделителна способност, излъчване, DVD съхранение, RTP/IP пакетна мрежа и ITU-T мултимедийна телефонна система. Стандартът H.264 може да се разглежда като "стандартно семейство", съставено от много различни конфигурационни файлове. Конкретен декодер декодира поне един, но не непременно всички профили. Спецификацията на декодера описва кои конфигурационни файлове могат да бъдат декодирани. H.264 обикновено се използва за компресиране със загуба, въпреки че е възможно също така да се създадат наистина кодиращи региони без загуба в кодирани изображения със загуба или да се поддържат редки случаи на използване, при които цялото кодиране е без загуби.
H.264 е разработен от експертната група на ITU-T за видео кодиране (VCEG) съвместно с групата експерти по движещи се изображения ISO/IEC JTC1 (MPEG). Партньорството по проекта се нарича Joint Video Team (JVT). Стандартът ITU-T H.264 и стандартът ISO/IEC MPEG-4 AVC (официално, ISO/IEC 14496-10-MPEG-4 част 10, Разширено видео кодиране) се поддържат съвместно, така че да имат същото техническо съдържание. Окончателното изготвяне на първото издание на стандарта приключи през май 2003 г. и към неговите следващи издания бяха добавени различни разширения на неговите функции. Видео кодирането с висока ефективност (HEVC), а именно H.265 и MPEG-H част 2 са наследниците на H.264/MPEG-4 AVC, разработени от същата организация, а по-ранните стандарти все още се използват често.
Най-известният H.264 е може би един от стандартите за кодиране на видео за Blu-ray дискове; всички Blu-ray плейъри трябва да могат да декодират H.264. Той също така се използва широко от поточни интернет ресурси, като видеоклипове от Vimeo, YouTube и iTunes Store, мрежов софтуер като Adobe Flash Player и Microsoft Silverlight и различни HDTV излъчвания на земята (ATSC, ISDB-T, DVB)- T или DVB-T2), кабелен (DVB-C) и сателитен (DVB-S и DVB-S2).
H.264 е защитен от патенти, притежавани от всички страни. Лицензите, обхващащи повечето (но не всички) патенти, необходими за H.264, се управляват от патентния фонд MPEG LA. 3 Търговското използване на патентована технология H.264 изисква изплащане на роялти на MPEG LA и други собственици на патенти. MPEG LA позволява безплатно използване на технологията H.264, за да предостави на крайните потребители безплатно поточно интернет видео, а Cisco Systems плаща роялти на MPEG LA от името на потребителите на двоични файлове с кодиращ H.264 с отворен код.
1. Именуване
Името H.264 следва Конвенцията за именуване на ITU-T, която е член на серията H.26x на стандартите за кодиране на видео VCEG; MPEG-4 AVC името е свързано с конвенцията за именуване в ISO/IEC MPEG, където стандартът е ISO/IEC 14496 част 10, ISO/IEC 14496 е набор от стандарти, наречени MPEG-4. Стандартът е разработен съвместно в партньорство между VCEG и MPEG, а проект VCEG, наречен H.26L, по-рано беше осъществен в ITU-T. Следователно имена като H.264/AVC, AVC/H.264, H.264/MPEG-4AVC или MPEG-4/H.264 AVC често се използват за препращане към стандарта за подчертаване на общото наследство. Понякога се нарича още „JVT кодек“, отнася се за организацията на Joint Video Team (JVT), която го е разработила. (Този вид партньорство и множество имена не са необичайни. Например стандартът за компресиране на видео, наречен MPEG-2, също произхожда от партньорството между MPEG и ITU-T, където MPEG-2 видео се нарича от общността на ITU-T H. 262. 4) Някои софтуерни програми (като VLC медиен плейър) вътрешно идентифицират този стандарт като AVC1.
2. история
В началото на 1998 г. Експертната група за видео кодиране (VCEG-ITU-T SG16 Q.6) публикува покана за представяне на предложения за проект, наречен H.26L, с цел удвояване на ефективността на кодиране (което означава, че необходимата скорост на предаване наполовина) Дадено ниво на вярност в сравнение с всички други съществуващи стандарти за кодиране на видео, използвани за различни приложения. VCEG се председателства от Гари Съливан (Microsoft, по -рано PictureTel, САЩ). Първият проект на новия стандарт е приет през август 1999 г. През 2000 г. Томас Виганд (Институт Хайнрих Херц, Германия) става съпредседател на VCEG.
През декември 2001 г. VCEG и групата на експертите по движещи се картини (MPEG-ISO / IEC JTC 1 / SC 29 / WG 11) сформираха съвместна видео група (JVT), а нейният харт финализира стандарта за кодиране на видео. [5] Спецификацията беше официално одобрена през март 2003 г. JVT се председателстваше от Гари Съливан, Томас Виганд и Аджай Лютра (Motorola, САЩ: по -късно Arris, САЩ). През юни 2004 г. проектът за разширяване на обхвата на вярност (FRExt) беше финализиран. От януари 2005 г. до ноември 2007 г. JVT работи за разширяване на H.264/AVC до мащабируемост чрез прикачен файл (G), наречен Мащабируемо видео кодиране (SVC). Екипът за управление на JVT беше разширен от Jens-Rainer Ohm (Университет в Аахен, Германия). От юли 2006 г. до ноември 2009 г. JVT стартира Multi-Video Video Coding (MVC), което е разширение на H.264/AVC към телевизия със свободно гледане и 3D телевизия. Тази работа включва разработването на два нови стандартни профила: Multiview High Profile и Stereo High Profile.
Стандартизацията на първата версия на H.264/AVC приключи през май 2003 г. В първия проект за разширяване на първоначалния стандарт JVT впоследствие разработи така наречените разширения на диапазона на вярност (FRExt). Тези разширения постигат по-висококачествено видео кодиране, като поддържат по-висока точност на битова дълбочина на семплиране и по-висока разделителна информация за цветовете, включително така наречените Y'CbCr 4: 2: 2 (= YUV 4: 2: 2) и Y 'CbCr 4: 4 семплиране структура: 4. Проектът Fadelity Range Extensions включва и други функции, като адаптивно превключване между 4 × 4 и 8 × 8 целочислени трансформации, възприемане на матрици за претегляне на квантуване, определено от енкодера, ефективно кодиране без загуби между картини и поддръжка на допълнителни цветови пространства. Проектирането на Fidelity Range Extensions приключи през юли 2004 г., а работата по изготвянето му приключи през септември 2004 г.
Последното по -нататъшно разширяване на стандарта включва добавянето на още пет нови профила [кой? ] Използва се главно за професионални приложения, добавяне на поддръжка на разширена цветова гама, дефиниране на допълнителни индикатори за съотношение на страните, дефиниране на два други типа „допълнителна информация за подобряване“ (подсказки след филтриране и картографиране на тонове) и изхвърляне на предишния конфигурационен файл FRExt One (висока 4: 4: 4 профил), обратна връзка от индустрията [от кого? ] Инструкциите трябва да бъдат проектирани по различен начин.
Следващата основна функция, добавена към стандарта, е Мащабируемо видео кодиране (SVC). В приложение G на H.264/AVC е предвидено, че SVC позволява изграждането на потоци от битове, съдържащи под-битови потоци, които също съответстват на стандарта, включително един такъв поток от битове, наречен "базов слой", който може да бъде декодиран от H.264/ AVC кодек, който поддържа SVC. За времева мащабируемост на битовия поток (т.е. има под-битови потоци с по-малка времева честота на дискретизация от основния битов поток), единици за пълен достъп се премахват от битовия поток, когато се извлича под-битовия поток. В този случай синтаксисът на високо ниво и референтните картини за предсказване в битовия поток се конструират съответно. От друга страна, за пространствена и качествена мащабируемост на битовия поток (т.е. има под-битови потоци с по-ниска пространствена разделителна способност/качество от основния битов поток), премахнете NAL от битовия поток, когато извличате под-битовия поток (мрежов абстракционен слой). . В този случай междупластовото прогнозиране (т.е. предсказване на по-висока пространствена разделителна способност/качествен сигнал от данни с по-ниска пространствена разделителна способност/качествен сигнал) обикновено се използва за ефективно кодиране. Мащабируемото разширение за кодиране на видео беше завършено през ноември 2007 г.
Следващата основна функция, добавена към стандарта, е Multi-View Video Coding (MVC). В приложение H на H.264/AVC е посочено, че MVC позволява изграждането на битов поток, представляващ повече от един изглед на видео сцена. Важен пример за тази функция е стереоскопичното кодиране на 3D видео. В MVC работата бяха разработени два профила: Multiview High Profile поддържа произволен брой гледания, а Stereo High Profile е специално проектиран за стерео видео с два изгледа. Разширението за кодиране на видео за Multiview беше завършено през ноември 2009 г.
3. Приложение
Видео форматът H.264 има много широк спектър от приложения, обхващащи всички форми на цифрово компресирано видео от нискобитови интернет поточни приложения до HDTV излъчване и почти без загуби кодиращи приложения за цифрови филми. Чрез използване на H.264, в сравнение с MPEG-2 част 2, битрейтът може да бъде запазен с 50% или повече. Например се съобщава, че качеството на цифровата сателитна телевизия, предоставено от H.264, е същото като сегашното внедряване на MPEG-2, с битрейт по-малък от половината. Текущата скорост на внедряване на MPEG-2 е около 3.5 Mbit/s, докато H.264 е само 1.5 Mbit. /с. [23] Sony твърди, че 9 Mbit/s AVC режимът на запис е еквивалентен на качеството на изображението във HDV формата, който използва около 18-25 Mbit/s.
За да се осигури съвместимост с H.264/AVC и безпроблемно приемане, много стандартизационни организации са променили или добавили към своите стандарти, свързани с видео, така че потребителите на тези стандарти да могат да използват H.264/AVC. Както форматът Blu-ray Disc, така и вече прекратеният HD DVD формат използват H.264 / AVC High Profile като един от трите задължителни формата за компресиране на видео. Проектът за цифрово видеоразпръскване (DVB) одобри използването на H.264/AVC за излъчване на телевизия в края на 2004 г.
Комитетът по стандартите на Американския комитет за напреднали телевизионни системи (ATSC) одобри H.264/AVC за излъчване на телевизия през юли 2008 г., въпреки че стандартът все още не е използван за фиксирани ATSC излъчвания в Съединените щати. [25] [26] Също така е одобрен за най-новия стандарт ATSC-M/H (мобилен/ръчен), използвайки частите AVC и SVC на H.264.
Пазарите за видеонаблюдение (телевизия със затворена верига) и видеонаблюдение са включили тази технология в много продукти. Много често срещани DSLR камери използват H.264 видео, съдържащо се в контейнера QuickTime MOV като собствен формат за запис.
4. Производен формат
AVCHD е формат за запис с висока разделителна способност, проектиран от Sony и Panasonic, използващ H.264 (съвместим с H.264, като същевременно добавя други специфични за приложението функции и ограничения).
AVC-Intra е формат за компресиране в рамките на рамката, разработен от Panasonic.
XAVC е формат за запис, проектиран от Sony и използва ниво 5.2 на H.264/MPEG-4 AVC, което е най-високото ниво, поддържано от този видео стандарт. [28] [29] XAVC може да поддържа 4K резолюции (4096 × 2160 и 3840 × 2160) със скорост до 60 кадъра в секунда (fps). [28] [29] Sony обяви, че камерите, поддържащи XAVC, включват две камери CineAlta-Sony PMW-F55 и Sony PMW-F5. [30] Sony PMW-F55 може да записва XAVC, 4K резолюция е 30 fps, скорост 300 Mbit/s, 2K резолюция, 30 fps, 100 Mbit/s. [31] XAVC може да записва 4K разделителна способност при 60 кадъра в секунда и да изпълнява подсемплиране на цветовете 4: 2: 2 при 600 Mbit/s.
5. Удобства
Блокова диаграма на H.264
H.264 / AVC / MPEG-4 Част 10 съдържа много нови функции, които му позволяват да компресира видео по-ефективно от стария стандарт и осигурява по-голяма гъвкавост за приложения в различни мрежови среди. По -специално, някои от тези ключови функции включват:
1) Предсказването на няколко картини между картини включва следните функции:
Използвайте предварително кодирани изображения като препратки по по -гъвкав начин от предишните стандарти, позволявайки използването на до 16 референтни рамки (или 32 референтни полета в случай на преплетено кодиране) в някои случаи. В профили, които поддържат не-IDR рамки, повечето нива посочват, че трябва да има достатъчно буфериране, за да позволи поне 4 или 5 референтни кадъра при максимална разделителна способност. Това е в контраст със съществуващите стандарти, които обикновено имат ограничение от 1; или, в случай на традиционни "В изображения" (В рамки), две. Тази специална функция обикновено позволява скромно подобряване на битрейта и качеството в повечето сценарии. [Необходимост от цитиране] Но при определени типове сцени, като сцени с повтарящи се действия или превключване на сцени напред -назад или непокрити фонови области, това позволява значително да се намали битрейтът, като същевременно се поддържа яснота.
Компенсация на движението с променлив размер на блока (VBSMC), размерът на блока е 16 × 16, колкото 4 × 4, което може да реализира прецизното сегментиране на движещата се област. Поддържаните размери на блока за прогнозиране на яркостта включват 16 × 16, 16 × 8, 8 × 16, 8 × 8, 8 × 4, 4 × 8 и 4 × 4, много от които могат да се използват заедно в един макро блок. Според използваната под-проба за цветност, размерът на блока за предсказване на цветността е съответно по-малък.
В случай на макроблок В, съставен от 16 4 × 4 дяла, всеки макроблок може да използва множество вектори на движение (един или два за всеки дял) при максимум 32. Векторът на движение на всяка 8 × 8 или по -голяма дялова област може да сочи към различно референтно изображение.
Всеки тип макроблок може да се използва в B-рамки, включително I-макроблокове, което води до по-ефективно кодиране при използване на B-рамки. Тази характеристика може да се види от MPEG-4 ASP.
Филтриране с шест докосвания, използвано за извличане на полупикселна проба за яркост за по-ясна компенсация на движението на подпиксела. Движението на четвърт пиксел се получава чрез линейна интерполация на полуцветни стойности, за да се спести процесорна мощ.
Четвъртият пиксел, използван за компенсация на движение, може точно да опише изместването на движещата се област. За цветността разделителната способност обикновено се намалява наполовина във вертикална и хоризонтална посока (вж. 4: 2: 0), така че компенсацията на движението на chroma използва единична осма пикселна решетка за цветност.
Претегленото прогнозиране позволява на енкодера да определи използването на мащабиране и изместване при извършване на компенсация на движение и предоставя значителни предимства на производителността в специални ситуации-като избледняване и избледняване, избледняване и избледняване и избледняване и затихване на преходи. Това включва имплицитно претеглено прогнозиране на В рамки и явно претеглено прогнозиране на Р рамки.
Пространствено предвиждане за ръбовете на съседни блокове за "вътрешно" кодиране, вместо "DC" предвиждане, намерено в MPEG-2 част 2 и прогнозиране на коефициента на трансформация в H.263v2 и MPEG-4 част 2:
Това включва блокове за предсказване на лума от 16 × 16, 8 × 8 и 4 × 4 (където само един тип може да се използва във всеки макроблок).
2) Функциите за кодиране на макроблок без загуби включват:
„PCM макроблокът без загуби“ представлява режима, който директно представя пробите от видео данни, [34] позволява перфектно представяне на конкретна област и позволява строги ограничения за количеството кодирани данни за всеки макроблок.
Подобреният режим на представяне на макроблок без загуби позволява перфектно представяне на определена област, като обикновено се използват много по -малко битове от режима PCM.
Гъвкави преплетени функции за кодиране на видео, включително:
Кодирането за адаптивно рамково поле за макроблок (MBAFF) използва макроблок двойка структура за изображението, кодирано като рамка, което позволява 16 × 16 макроблока в полеви режим (в сравнение с MPEG-2, където обработката на полевия режим е реализирана в кодирането на изображението като кадър води до обработка на 16 × 8 полумакроблока).
Кодирането на рамка и поле за адаптиране на изображения (PAFF или PicAFF) позволява свободно избрани изображения да се смесват и кодират като пълна рамка, където две полета се комбинират за кодиране или като едно единствено поле.
Нови функции за проектиране на преобразуване, включително:
Точно съвпадение на цялостно преобразуване на пространствения блок 4 × 4, което позволява точно поставяне на остатъчни сигнали, почти без "звънене", обичайно в предишните дизайни на кодеци. Този дизайн е подобен по концепция на добре познатото дискретно косинусно преобразуване (DCT), въведено през 1974 г. от Н. Ахмед, Т. Натараян и KR Rao, и е отправна точка 1 в дискретното косинусно преобразуване. Той обаче е опростен и осигурява точно определено декодиране.
Точно съвпадение на цялостни 8 × 8 пространствени блокови трансформации, позволяващи по -ефективно компресиране на силно корелирани области, отколкото 4 × 4 трансформации. Дизайнът е подобен по концепция на добре познатия DCT, но е опростен и предвиден, за да осигури точно определено декодиране.
Адаптивен избор на енкодер между 4 × 4 и 8 × 8 размери на блока за преобразуване за операции за цялостно преобразуване.
Вторично преобразуване на Адамард се извършва върху "DC" коефициентите на основното пространствено преобразуване, приложено към коефициентите DC на цветността (и в специален случай също и яркостта), за да се получи още по -голямо компресиране в гладката област.
3) Количественият дизайн включва:
Логаритмичен контрол на размера на стъпките, по -лесно управление на битрейта и опростено мащабиране на обратното квантоване през енкодера
Честотно персонализираната матрица за мащабиране на квантоване, избрана от енкодера, се използва за оптимизиране на квантуването въз основа на възприятие
Филтърът за деблокиране на контура помага за предотвратяване на блоковия ефект, общ за други технологии за компресиране на изображения, базирани на DCT, за да се получи по-добър визуален вид и ефективност на компресиране
4) Ентропийното кодиране включва:
Контекстно-адаптивно двоично аритметично кодиране (CABAC), алгоритъм за компресиране без загуби на елементи от синтаксиса във видео поток, който знае вероятността от елементи на синтаксиса в даден контекст. CABAC компресира данните по -ефективно от CAVLC, но изисква повече обработка за декодиране.
Контекстно адаптивно кодиране с променлива дължина (CAVLC), което е алтернатива с по -ниска сложност на CABAC, използвана за кодиране на квантовани стойности на коефициента на трансформация. Въпреки че сложността е по -ниска от CABAC, CAVLC е по -усъвършенствана и по -ефективна от методите, които обикновено се използват за кодиране на коефициенти в други съществуващи дизайни.
Обща проста и силно структурирана техника на кодиране с променлива дължина (VLC), използвана за много елементи на синтаксиса, които не са кодирани от CABAC или CAVLC, се нарича Експоненциално кодиране с Голомб (или Exp-Golomb).
5) Функциите за възстановяване на загуби включват:
Дефиницията на мрежовия абстракционен слой (NAL) позволява същия видеосинтаксис да се използва в много мрежови среди. Една много основна концепция за проектиране на H.264 е да генерира самостоятелни пакети данни за премахване на дублиращи се заглавки, като например разширителния код на заглавката на MPEG-4 (HEC). Това се постига чрез отделяне на информация, свързана с множество резени от медийния поток. Комбинацията от разширени параметри се нарича набор от параметри. [35] Спецификацията H.264 включва два типа набори параметри: Набор от параметри на последователността (SPS) и Набор параметри на картина (PPS). Ефективният набор от параметри на последователността остава непроменен в цялата кодирана видео поредица, а ефективният набор от параметри на изображението остава непроменен в рамките на кодираното изображение. Структурата на набора от параметри на последователността и изображението съдържа информация като размер на изображението, възприет незадължителен режим на кодиране и картографиране на макроблок към фрагмент.
Гъвкавото подреждане на макроблок (FMO), известно също като група на парчета, и произволно подреждане на парчета (ASO), е техника, използвана за реконструкция на подреждането на представянето на основните области (макроблокове) в картина. Обикновено разглеждани като функции за устойчивост на грешки/загуби, FMO и ASO могат да се използват и за други цели.
Разделянето на данни (DP), функция, която може да раздели по -важните и по -малко важните елементи на синтаксиса в различни пакети с данни, може да приложи Unequal Error Protection (UEP) и други видове подобрения на стабилността на грешките/загубите.
Резервен фрагмент (RS), функция за стабилност за грешка/загуба, която позволява на енкодера да изпрати допълнително представяне на областта на изображението (обикновено с по -ниска точност), което може да се използва, ако основното представяне е повредено или загубено.
Номер на кадър, позволяващ създаването на функция "подпоследователности", постигане на мащабируемост във времето чрез включване на допълнителни снимки между други изображения и откриване и скриване на загубата на цялата картина, която може да бъде причинена от загуба на мрежов пакет или канал Възникна грешка.
Превключването на парчета, наречено SP и SI резени, позволява на кодера да инструктира декодера да премине към текущия видео поток за цели като превключване на битрейт на видео поток и операции "режим на трик". Когато декодерът използва функцията SP/SI, за да премине към средата на видеопотока, той може да получи точно съвпадение с декодираното изображение на тази позиция във видео потока, въпреки че използва различна картина или изобщо няма картина като предишна справка. превключвател.
Един прост автоматичен процес, използван за предотвратяване на случайно симулиране на стартовия код, който е специална битова последователност в кодираните данни, позволява произволен достъп до битовия поток и възстановява подравняването на байтове в системи, при които може да се загуби байтова синхронизация.
Допълнителна информация за подобряване (SEI) и информация за използваемостта на видео (VUI) са допълнителна информация, която може да бъде вмъкната в потока от битове за подобряване на видеото за различни цели. [Необходимо е уточнение] SEI FPA (Frame Encapsulation Arrange) съдържа 3D подреждане на съобщения:
Спомагателна картина, която може да се използва за алфа синтез и други цели.
Поддържа монохромно (4: 0: 0), 4: 2: 0, 4: 2: 2 и 4: 4: 4 поддискретиране на цветовете (в зависимост от избрания профил).
Поддържа точност на дълбочината на вземане на проби, варираща от 8 до 14 бита на проба (в зависимост от избрания профил).
Възможност за кодиране на всяка цветна равнина в различни изображения със собствена структура на филийки, режим на макроблок, вектор на движение и т.н., което позволява използването на проста паралелна структура за проектиране на енкодера (поддържат се само три конфигурационни файла, които поддържат 4: 4: 4 ).
Преброяването на последователността на изображенията се използва за поддържане на реда на изображенията и характеристиките на стойностите на извадката в декодираното изображение, изолирани от информацията за времето, което позволява на системата да носи и контролира/променя информацията за времето отделно, без това да засяга съдържанието на декодирано изображение.
Тези технологии и няколко други технологии помагат на H.264 да се представя по -добре от всеки предишен стандарт в различни приложни среди в различни ситуации. H.264 обикновено се представя по-добре от MPEG-2 видео-обикновено със същото качество при половината битова скорост или по-ниска, особено при високи битрейтове и високи резолюции.
Подобно на други ISO/IEC MPEG видео стандарти, H.264/AVC има референтна софтуерна реализация, която може да бъде изтеглена безплатно. Основната му цел е да предостави примери за функции на H.264/AVC, а не само по себе си полезно приложение. Експертната група по кинофилми също извършва някои референтни хардуерни проекти. По -горе са пълните функции на H.264/AVC, обхващащи всички конфигурационни файлове на H.264. Профилът на кодека е набор от характеристики на кодека, който е идентифициран така, че да отговаря на определен набор от спецификации за предвиденото приложение. Това означава, че някои конфигурационни файлове не поддържат много от изброените функции. Различните конфигурационни файлове на H.264/AVC ще бъдат обсъдени в следващия раздел.
Нашата друг продукт:
