Compressed Domain Processing of MPEG Video

A thesis submitted to the Graduate Studies Office in partial fulfilment of the requirements for M.Sc. degree in Electrical and Computer Engineering - Electronics
Mohammad Mahdi Ghandi, Spring 2002. University of Tehran, Faculty of Engineering.
Advisior: Dr. Omid Fatemi
Consultant: Dr. Hamid Shafiee
Examiners: Dr Soltanian Zadeh, Dr Rabei, and Dr Yazdani

Abstract

With the advent of the new multimedia applications, video compression is increasingly being employed. MPEG has become an important standard for video compression due to the arrival of DVB, DVD and DTV and it is widely used in multimedia applications. Hence, MPEG video processing or better compressed video processing is becoming increasingly important in many digital video applications. There are two main approaches for compressed video processing. The first approach that is called re-encoding involves decoding the compressed bit-stream, processing and then re-encoding the modified sequence. In the second type algorithms, which are called compressed domain processing (CDP), the processing is performed in compressed domain. It means that there is no decoding and re-encoding and hence, they are simple and fast. Compressed domain processing can be used in many applications such as compressed video editing, alpha keying and bit-rate reduction. Many video applications use pre-encoded video bit-streams for storage and transmission. The need for bit-rate reduction arises when these stored video data should be transmitted through different channels with different characteristics and for different purposes. One may store the original video source with high quality and bit-rate and need to transmit it with different lower bit-rates for different applications. Bit-rate reduction algorithms are employed in both constant bit-rate (CBR) and variable bit-rate (VBR) applications. The bit-rate reduction can be achieved by spatial, temporal and SNR scaling. Spatial scaling is reducing the bit-rate by reducing the vertical and horizontal resolution of the frames, temporal scaling is to reduce the bit-rate by reducing the number of frames in unit of time (frame-rate) and SNR scaling is to reduce the bit-rate by decreasing the quality of the pictures. In this thesis, the SNR and spatial scaling, editing and alpha keying processes are implemented in compressed domain processing schema. The comparison tools and encoder for testing the re-encode method are also implemented. New methods of SNR scaling, spatial scaling and alpha keying are proposed and compared by re-encode and recent CDP methods.

This thesis is in Persian (Farsi) language:

پردازش ويدئو در حوزه فشرده

گزارش پايان نامه کارشناسي ارشد - گرايش برق - الکترونيک
توسط : محمد مهدي قندي
دانشگاه تهران - دانشكده فني - گروه مهندسي برق و كامپيوتر - زمستان 1380

استاد راهنما : دكتر اميد فاطمي
استاد مشاور: دكتر حميد شفيعي
هيات داوران: دكتر حميد سلطانيان زاده - دكتر حميدرضا ربيعي - دكتر ناصر يزداني

خلاصه

تكنولوژي فشرده سازي ويدئو در طيف وسيعي از كاربردها مورد توجه مي باشد. روش فشرده سازي ويدئويي MPEG كه توسط ISO/IEC استاندارد شده است، براي اين منظور تدوين گرديده است. روش MPEG   بيشتر از نظر فشرده سازي بهينه شده است و بنابراين بعضي استفاده ها و پردازشها در آن بسيار پيچيده مي گردد. در بسياري از كاربردها، نياز به تغييرات و پردازش بر روي ويدئوي فشرده شده مي باشد. روند پردازش ويدئوشامل پردازش يك ويدئوي فشرده شده استاندارد (MPEG1,2) و توليد يك bitstream  استاندارد ديگر مي باشد كه تغييرات مورد نظري نيز روي آن صورت گرفته باشد. به عنوان مثال يك توزيع كننده ويدئو كه ويدئو را در اينترنت پخش مي كند، با عرض باندهاي مختلفي مواجه مي شود. بنابراين يك ويدئوي فشرده شده با كيفيت بالا (كه در server موجود است) بايد به يك ويدئوي فشرده شده استاندارد با bit-rate پايين تر تبديل شود تا بتوان آنرا از طريق كانال موجود فرستاد. اين كار از سه طريق spatial scaling  ، temporal scaling  وSNR scaling  امكان پذير مي باشد. كاربردهاي ديگر شامل تدوين ويدئو،  پخش سريع يا برعكس، تغيير براي مقاوم بودن نسبت به نويز و تغيير محتواي تصاوير مي باشد. دو روش اصلي براي پردازش ويدئوي فشرده موجود مي باشد. روش اول كه روش سنتي مي باشد، re-encode نام دارد و روش دوم كه موضوع اصلي اين پروژه مي باشد، پردازش در حوزه فشرده مي باشد. درروش سنتي پردازش ويدئوي ديجيتال كه به اختصار به آن re-encode گفته مي شود، ابتدا ويدئوي فشرده شده MPEG ، decode  مي شود و پردازش ها برروي تصاوير در حوزه مکاني صورت مي گيرد. سپس ويدئوي تغيير يافته مجددا encode مي شود. اشكال اساسي اين روش پيچيدگي encoder و بخصوص قسمت motion estimation آن مي باشد. روش ديگر پردازش ويدئو، پردازش حوزه فشرده مي باشد. در اين روش پردازشها و تغييرات لازم  بر روي sequence فشرده شده بدون اينكه decode   شود و در همان حوزه فشرده شده، صورت مي گيرد. مهمترين برتري اين روش سرعت بالا و پيچيدگي كمتر نسبت به روش re-encode مي باشد. همچنين در بعضي موارد كيفيت نيز بهتر مي باشد. هدف اصلي از اين تحقيق بررسي روش هاي موجود در پردازش ويدئو و پيشنهاد روشهاي جديد و بهينه مي باشد. آخرين روشهاي موجود در پردازش ويدئو در قالب پياده سازي نرم افزار پردازشگر ويدئو در حوزه فشرده بررسي گرديده است. نرم افزار فوق علاوه بر توانايي انجام پردازشهاي اصلي ويدئوي MPEG در حوزه فشرده، امكان انجام پردازشهاي مزبور بصورت re-encode را نيز دارا مي باشد. لازم به ذكر است encoder  پياده سازي شده بر اساس سورس نوشته شده توسط دانشجويان دانشگاه بركلي مي باشد. بدين ترتيب امكان تست و مقايسه دو روش اصلي در پردازش ويدئوي ديجيتال فراهم گشته و راه را براي پياده سازي هاي سخت افزاري، فراهم مي نمايد. همچنين روشهاي پيشنهادي نيز با روشهاي موجود مقايسه گرديده اند. در اين تحقيق روشهاي جديدي براي كاهش bit-rate به صورت SNR scaling و spatial scaling و همچنين تغيير محتواي تصاوير پيشنهاد گرديده است. روشهاي مذكور علاوه بر مقايسه با روش       re-encode با روشهاي قبلي پردازش در حوزه فشرده مقايسه شده اند. نتايج چنين نشان مي دهند كه روشهاي پيشنهادي از نظر كيفيت يا سرعت، و يا از هردو نظر نسبت به روشهاي قبلي برتري دارند.