amazon-sqs - tutorial - sqs high availability

La mejor manera de eliminar mensajes de SQS durante el desarrollo

Question

Durante el desarrollo, estoy generando muchos mensajes falsos en mi Amazon SQS. Estaba a punto de escribir una pequeña aplicación para eliminar todos los mensajes (algo que hago con frecuencia durante el desarrollo). ¿Alguien sabe de una herramienta para purgar la cola?

Answer 1

A partir de diciembre de 2014, la consola de sqs ahora tiene una opción de cola de purga en el menú de acciones de cola.

Answer 2

Compruebe el primer elemento en la cola. Desplácese hacia abajo hasta el último elemento en la cola. Mantener el turno, haga clic en el elemento. Todos serán seleccionados.

Answer 3

Creo que la mejor manera es cambiar el período de retención a 1 minuto, pero aquí está el código Python si alguien necesita:

#!/usr/bin/python
# -*- coding: utf-8 -*-
import boto.sqs
from boto.sqs.message import Message
import time
import os
startTime = program_start_time = time.strftime("%Y-%m-%d %H:%M:%S", time.gmtime())
### Lets connect to SQS:
qcon = boto.sqs.connect_to_region(region,aws_access_key_id=''xxx'',aws_secret_access_key=''xxx'')
SHQueue = qcon.get_queue(''SQS'')
m = Message()
### Read file and write to SQS
counter = 0
while counter < 1000: ## For deleting 1000*10 items, change to True if you want delete all
links = SHQueue.get_messages(10)
for link in links:
m = link
SHQueue.delete_message(m)
counter += 1
#### The End
print "/n/nTerminating.../n"
print "Start: ", program_start_time
print "End time: ", time.strftime("%Y-%m-%d %H:%M:%S", time.gmtime())

Answer 4

Creo que la mejor manera sería eliminar la cola y crearla nuevamente, solo 2 solicitudes.

Answer 5

Para cualquier persona que haya venido aquí, busca una manera de eliminar los mensajes de SQS en masa en C # ...

//C# Console app which deletes all messages from a specified queue
//AWS .NET library required.
using System;
using System.Net;
using System.Configuration;
using System.Collections.Specialized;
using System.IO;
using System.Linq;
using System.Text;
using Amazon;
using Amazon.SQS;
using Amazon.SQS.Model;
using System.Timers;
using System.Collections.Generic;
using System.Text.RegularExpressions;
using System.Diagnostics;
namespace QueueDeleter
{
class Program
{
public static System.Timers.Timer myTimer;
static NameValueCollection appConfig = ConfigurationManager.AppSettings;
static string accessKeyID = appConfig["AWSAccessKey"];
static string secretAccessKeyID = appConfig["AWSSecretKey"];
static private AmazonSQS sqs;
static string myQueueUrl = "https://queue.amazonaws.com/1640634564530223/myQueueUrl";
public static String messageReceiptHandle;
public static void Main(string[] args)
{
sqs = AWSClientFactory.CreateAmazonSQSClient(accessKeyID, secretAccessKeyID);
myTimer = new System.Timers.Timer();
myTimer.Interval = 10;
myTimer.Elapsed += new ElapsedEventHandler(checkQueue);
myTimer.AutoReset = true;
myTimer.Start();
Console.Read();
}
static void checkQueue(object source, ElapsedEventArgs e)
{
myTimer.Stop();
ReceiveMessageRequest receiveMessageRequest = new ReceiveMessageRequest();
receiveMessageRequest.QueueUrl = myQueueUrl;
ReceiveMessageResponse receiveMessageResponse = sqs.ReceiveMessage(receiveMessageRequest);
if (receiveMessageResponse.IsSetReceiveMessageResult())
{
ReceiveMessageResult receiveMessageResult = receiveMessageResponse.ReceiveMessageResult;
if (receiveMessageResult.Message.Count < 1)
{
Console.WriteLine("Can''t find any visible messages.");
myTimer.Start();
return;
}
foreach (Message message in receiveMessageResult.Message)
{
Console.WriteLine("Printing received message./n");
messageReceiptHandle = message.ReceiptHandle;
Console.WriteLine("Message Body:");
if (message.IsSetBody())
{
Console.WriteLine(" Body: {0}", message.Body);
}
sqs.DeleteMessage(new DeleteMessageRequest().WithQueueUrl(myQueueUrl).WithReceiptHandle(messageReceiptHandle));
}
}
else
{
Console.WriteLine("No new messages.");
}
myTimer.Start();
}
}
}

Answer 6

Para purgar un SQS de la API vea:

https://docs.aws.amazon.com/AWSSimpleQueueService/latest/APIReference/API_PurgeQueue.html

Answer 7

Si no quieres escribir script o borrar tu cola. Puede cambiar la configuración de la cola:

1. Haga clic derecho en la cola> configure queue
2. Cambie el Message Retention period a 1 minuto (el tiempo mínimo que se puede configurar para).
3. Espera un momento a que desaparezcan todos los mensajes.

Encontré que de esta manera funciona bien para eliminar todos los mensajes en una cola sin eliminar la cola.

Answer 8

Si tiene acceso a la consola de AWS, puede purgar una cola mediante la interfaz de usuario web.

Pasos:

• Vaya a Servicios -> SQS
• Filtra las colas por tu "QUEUE_NAME"
• Haga clic derecho en el nombre de su cola -> Purgar cola

Esto solicitará que se elimine la cola y se debe completar con 5 o 10 segundos aproximadamente.

Vea a continuación para saber cómo realizar esta operación:

Answer 9

Opción 1: boto sqs tiene un método purge_queue para python:

purge_queue(queue)
Purge all messages in an SQS Queue.
Parameters: queue (A Queue object) – The SQS queue to be purged
Return type: bool
Returns: True if the command succeeded, False otherwise

Fuente: http://boto.readthedocs.org/en/latest/ref/sqs.html

Código que me funciona:

conn = boto.sqs.connect_to_region(''us-east-1'',
aws_access_key_id=AWS_ACCESS_KEY_ID,
aws_secret_access_key=AWS_SECRET_ACCESS_KEY,
)
q = conn.create_queue("blah")
#add some messages here
#invoke the purge_queue method of the conn, and pass in the
#queue to purge.
conn.purge_queue(self.queue)

Para mí, se eliminó la cola. Sin embargo, Amazon SQS solo le permite ejecutar esto una vez cada 60 segundos. Así que tuve que usar la siguiente solución secundaria:

Opción 2: Realice una purga consumiendo todos los mensajes en un bucle de tiempo y descartándolos:

 all_messages = []
rs = self.queue.get_messages(10)
while len(rs) > 0:
all_messages.extend(rs)
rs = self.queue.get_messages(10)