c++ - calcopticalflowfarneback - object tracking opencv android

Seguimiento de OpenCV utilizando flujo óptico.

Question

Utilizo esto para funcionar como base de mi algoritmo de seguimiento.

 //1. detect the features
cv::goodFeaturesToTrack(gray_prev, // the image
features, // the output detected features
max_count, // the maximum number of features
qlevel, // quality level
minDist); // min distance between two features
// 2. track features
cv::calcOpticalFlowPyrLK(
gray_prev, gray, // 2 consecutive images
points_prev, // input point positions in first im
points_cur, // output point positions in the 2nd
status, // tracking success
err); // tracking error

cv::calcOpticalFlowPyrLK toma el vector de puntos de la imagen anterior como entrada y devuelve los puntos apropiados en la imagen siguiente. Supongamos que tengo un píxel aleatorio (x, y) en la imagen anterior, ¿cómo puedo calcular la posición de este píxel en la siguiente imagen utilizando la función de flujo óptico OpenCV?

Answer 1

Mientras escribe, cv::goodFeaturesToTrack toma una imagen como entrada y produce un vector de puntos que considera "bueno de rastrear". Estos se eligen en función de su capacidad para sobresalir de su entorno y se basan en las esquinas de Harris en la imagen. Un rastreador normalmente se inicializaría pasando la primera imagen a goodFeaturesToTrack y obteniendo un conjunto de características para rastrear. Estas características podrían pasarse a cv::calcOpticalFlowPyrLK como los puntos anteriores, junto con la siguiente imagen en la secuencia y producirá los siguientes puntos como salida, que luego se convertirán en puntos de entrada en la siguiente iteración.

Si desea intentar rastrear un conjunto diferente de píxeles (en lugar de las funciones generadas por cv::goodFeaturesToTrack o una función similar), simplemente proporcione estos a cv::calcOpticalFlowPyrLK junto con la siguiente imagen.

Muy simple, en código:

// Obtain first image and set up two feature vectors
cv::Mat image_prev, image_next;
std::vector<cv::Point> features_prev, features_next;
image_next = getImage();
// Obtain initial set of features
cv::goodFeaturesToTrack(image_next, // the image
features_next, // the output detected features
max_count, // the maximum number of features
qlevel, // quality level
minDist // min distance between two features
);
// Tracker is initialised and initial features are stored in features_next
// Now iterate through rest of images
for(;;)
{
image_prev = image_next.clone();
feature_prev = features_next;
image_next = getImage(); // Get next image
// Find position of feature in new image
cv::calcOpticalFlowPyrLK(
image_prev, image_next, // 2 consecutive images
points_prev, // input point positions in first im
points_next, // output point positions in the 2nd
status, // tracking success
err // tracking error
);
if ( stopTracking() ) break;
}

Answer 2

La función cv :: calcOpticalFlowPyrLK (..) usa argumentos:

cv :: calcOpticalFlowPyrLK (prev_gray, curr_gray, features_prev, features_next, status, err);

cv::Mat prev_gray, curr_gray;
std::vector<cv::Point2f> features_prev, features_next;
std::vector<uchar> status;
std::vector<float> err;

El código más simple (parcial) para encontrar el píxel en el siguiente cuadro:

features_prev.push_back(cv::Point(4, 5));
cv::calcOpticalFlowPyrLK(prev_gray, curr_gray, features_prev, features_next, status, err);

Si el píxel se encontró con éxito, el status[0] == 1 y features_next[0] mostrará las coordenadas del píxel en el siguiente cuadro. La información del valor se puede encontrar en este ejemplo: OpenCV/samples/cpp/lkdemo.cpp