protocolo - Detectar MPEG4/H264 I-Frame(IDR) en un flujo RTP

rtsp vs http

Question

Necesito detectar MPEG4 I-Frame en un paquete RTP. Sé cómo eliminar el encabezado RTP y obtener el marco MPEG4 en él, pero no puedo averiguar cómo identificar el I-Frame.

¿Tiene una firma / encabezado específico?

Answer 1

0x000001b6: vop_start_code (fotograma clave, si los dos bits siguientes son cero) esta es la forma correcta para MPEG-4

Answer 2

En realidad, era correcto para el flujo h264, si el valor NAL (primer byte) es 0x7C significa que el I-Frame está fragmentado. No se pueden fragmentar otros marcos (P y B), por lo que si hay packetization-mode=1 en SDP , significa que los marcos I están fragmentados y, por lo tanto, si lee 0x7C como primer byte, entonces es I- Cuadro. Lea más aquí: here .

Answer 3

Esto funcionó para mí:
- Determine el "tipo de carga útil", por ejemplo: Tipo de carga útil: DynamicRTP-Type-96 (96)
- Indique a wireshark qué flujo es H264: Archivo-> preferencias-> protocolos-> H264. Introduzca 96 como tipo de carga útil.
- Filtro en slice_type: "h264.slice_type eq 7"

Answer 4

Ok, así que lo deduje a la corriente h264.

Cómo detectar I-Frame:

• eliminar el encabezado RTP
• verifique el valor del primer byte en la carga útil h264
• si el valor es 124 (0x7C) es un I-Frame

No puedo entenderlo para la transmisión de MPEG4-ES ... ¿alguna sugerencia?

EDITAR: IDR H264

Esto funciona para mi flujo h264 ( fmtp:96 packetization-mode=1; profile-level-id=420029; ). Simplemente pase la matriz de bytes que representa el fragmento h264 recibido a través de RTP. Si desea pasar todo el RTP, simplemente corrija el valor RTPHeaderBytes para omitir el encabezado RTP. Siempre obtengo el I-Frame, porque es el único frame que se puede fragmentar, consulte here . ¡Utilizo este pedazo de código (simplificado) en mi servidor, y funciona como un encanto! Si el I-Frame (IDR) no está fragmentado, fragment_type sería 5, por lo que este código devolvería true para los IDR fragmentados y no fragmentados.

public static bool isH264iFrame(byte[] paket)
{
int RTPHeaderBytes = 0;
int fragment_type = paket[RTPHeaderBytes + 0] & 0x1F;
int nal_type = paket[RTPHeaderBytes + 1] & 0x1F;
int start_bit = paket[RTPHeaderBytes + 1] & 0x80;
if (((fragment_type == 28 || fragment_type == 29) && nal_type == 5 && start_bit == 128) || fragment_type == 5)
{
return true;
}
return false;
}

Aquí está la tabla de tipos de unidades NAL:

 Type Name
0 [unspecified]
1 Coded slice
2 Data Partition A
3 Data Partition B
4 Data Partition C
5 IDR (Instantaneous Decoding Refresh) Picture
6 SEI (Supplemental Enhancement Information)
7 SPS (Sequence Parameter Set)
8 PPS (Picture Parameter Set)
9 Access Unit Delimiter
10 EoS (End of Sequence)
11 EoS (End of Stream)
12 Filter Data
13-23 [extended]
24-31 [unspecified]

EDIT 2: MPEG4 I-VOP

Olvidé actualizar este ... Gracias al documento de Che e ISO IEC 14496-2 , ¡logré resolver esto! Che fue un rito, pero no tan preciso en su respuesta ... así que aquí es cómo encontrar los cuadros I, P y B (I-VOP, P-VOP, B-VOP) en resumen:

1. VOP (Video Object Plane - frame) comienza con un código 000001B6 (hex). Es igual para todos los cuadros MPEG4 (I, P, B)

2. A continuación, se incluye mucha más información, que no voy a describir aquí (consulte el documento IEC), pero solo (como dice cheque) necesitamos los 2 bits más altos del siguiente byte (los siguientes dos bits después del byte con el valor B6 ) . Esos 2 bits le indican el VOP_CODING_TYPE, vea la tabla:

   VOP_CODING_TYPE (binary) Coding method
   00 intra-coded (I)
   01 predictive-coded (P)
   10 bidirectionally-predictive-coded (B)
   11 sprite (S)

Entonces, para encontrar I-Frame, encuentre el paquete que comienza con cuatro bytes 000001B6 y que tiene los dos bits más altos del siguiente byte 00 . Esto encontrará el marco I en la secuencia MPEG4 con un tipo de objeto de video simple (no estoy seguro de que sea simple avanzado).

Para cualquier otro problema, puede consultar el documento proporcionado ( ISO IEC 14496-2 ), hay todo lo que desea saber sobre MPEG4. :)

Answer 5

Para H264:

1. Eliminar el encabezado RTP.
2. Si el tipo de NAL del fragmento (en el primer byte) es SPS (7) o PPS (8), marque el marco como IFrame (muchas cámaras no usan SPS y PPS (eje incluido)).
3. Si el tipo de NAL del fragmento es # 28 FU A (unidad de fragmentación A), verifique el encabezado de FU (el siguiente byte) si es de tipo NAL IDR (5) (Imagen de IDR (actualización de descodificación instantánea)) es un IFrame.

Ejemplos:

nal_ref_idc: 3, nal type: 7 (0x07) descripcion: 7 (SPS)<br>
00000000 24 00 00 2B 80 60 22 ED 96 57 3E 68 57 F3 22 B5 $..+.`"í.W>hWó"µ<br>
00000010 67 64 00 1E AD 84 01 0C 20 08 61 00 43 08 02 18 gd..­... .a.C...
00000020 40 10 C2 00 84 2B 50 5A 09 34 DC 04 04 04 08 @.Â..+PZ.4Ü....<br>
nal_ref_idc: 3, nal type: 8 (0x08) descripcion: 8 (PPS)<br>
00000000 24 00 00 10 80 60 22 EE 96 57 3E 68 57 F3 22 B5 $....`"î.W>hWó"µ
00000010 68 EE 3C B0 hî<°
FU_A (fragmentation unit A)
nal_ref_idc: 3, nal type: 5 (0x05) descripcion: 5 (IDR (Instantaneous Decoding Refresh) Picture)
00000000 24 00 05 96 80 60 22 F1 96 57 3E 68 57 F3 22 B5 $....`"ñ.W>hWó"µ
00000010 7C 05 A0 AA 2F 81 92 AB CA FE 9E 34 D8 06 AD 74 |. ª/..«Êþ.4Ø.­t
...

Answer 6

Por lo que sé, los fragmentos de flujo MPEG4-ES en la carga útil de RTP generalmente comienzan con el código de inicio MPEG4, que puede ser uno de los siguientes:

• 0x000001b0 : visual_object_sequence_start_code (probablemente fotograma clave)
• 0x000001b6 : vop_start_code (fotograma clave, si los dos bits siguientes son cero)
• 0x000001b3 : group_of_vop_start_code, que contiene tres bytes y luego, con suerte, un vop_start_code que puede o no pertenecer a un fotograma clave (ver arriba)
• 0x00000120 : video_object_layer_start_code (probablemente fotograma clave)
• 0x00000100 - 0x0000011f : video_object_start_code (también parecen fotogramas clave)
• otra cosa (probablemente no sea un fotograma clave)

Me temo que tendrás que analizar el flujo para estar seguro: - /