java - Bajo rendimiento de escritura de Cassandra

performance nosql

Question

Soy nuevo en NoSQL y Cassandra. Estoy experimentando con configuraciones para lograr una solución de memoria caché única. Estoy procesando leyendo línea por línea desde un archivo de 100000 líneas y usando Héctor para insertarlo en Cassandra. Estoy notando un rendimiento muy bajo de alrededor de 6000 insertos por segundo. Toda la operación de escritura es de aproximadamente 20.5 segundos, lo cual es inaceptable para nuestra aplicación. Necesitamos algo así como 100000 inserciones por segundo. Estoy probando en una computadora con Windows 7 con 4 GB de RAM.

Estoy haciendo una prueba de inserción única.

Amablemente déjame saber dónde me estoy equivocando. Amablemente sugiera cómo puedo mejorar las inserciones por segundo.

Keyspace: Keyspace1
Read Count: 0
Read Latency: NaN ms.
Write Count: 177042
Write Latency: 0.003106884242157228 ms.
Pending Tasks: 0
Column Family: user
SSTable count: 3
Space used (live): 17691
Space used (total): 17691
Number of Keys (estimate): 384
Memtable Columns Count: 100000
Memtable Data Size: 96082090
Memtable Switch Count: 1
Read Count: 0
Read Latency: NaN ms.
Write Count: 177042
Write Latency: NaN ms.
Pending Tasks: 0
Key cache capacity: 150000
Key cache size: 0
Key cache hit rate: NaN
Row cache capacity: 150000
Row cache size: 0
Row cache hit rate: NaN
Compacted row minimum size: 73
Compacted row maximum size: 924
Compacted row mean size: 784

He intentado algunos métodos para configurar el caché de filas y el caché de claves:

1. A través de Cassandra CLI

2. A través de NodeCmd: java org.apache.cassandra.tools.NodeCmd -p 7199 setcachecapacity Usuario de Keyspace1 150000 150000

Answer 1

¿Cuántos hilos / procesos está usando para realizar inserciones? Las llamadas de Hector son síncronas, por lo que si solo está utilizando 1 hilo en el lado del cliente, ese puede ser su cuello de botella.

Answer 2

No describiría 6000 escrituras por segundo como "lento", pero Cassandra puede hacerlo mucho mejor. Pero tenga en cuenta que Cassandra está diseñado para escritura duradera, por lo que puede ofrecer un rendimiento menor que las soluciones de almacenamiento en caché solo en memoria.

Como dice sbridges, no se puede obtener un rendimiento completo de Cassandra con un solo cliente. Intente utilizar múltiples hilos de clientes, procesos o máquinas.

No creo que obtenga 100.000 escrituras por segundo en un solo nodo. Solo obtuve alrededor de 20,000-25,000 escrituras por segundo en hardware modesto (aunque Cassandra se ha vuelto mucho más rápido desde que hice ese benchmarking). 6000 por segundo parece ser el adecuado para un solo cliente frente a un único nodo de productos.

Con un grupo de nodos, definitivamente puede obtener 100.000 por segundo (consulte http://techblog.netflix.com/2011/11/benchmarking-cassandra-scalability-on.html para obtener un punto de referencia reciente de 1,000,000 de escrituras por segundo).

El caché de filas y el caché de claves ayudan a leer el rendimiento, no al rendimiento de escritura.

Además, asegúrese de que está procesando las escrituras (si corresponde), esto reducirá la sobrecarga de la red.