python - load_word2vec_format - word2vec español

Convierta el archivo bin de word2vec a texto

Question

Desde el sitio word2vec puedo descargar GoogleNews-vectors-negative300.bin.gz. El archivo .bin (aproximadamente 3.4GB) es un formato binario que no me es útil. Tomas Mikolov nos asegura que "Debería ser bastante sencillo convertir el formato binario a formato de texto (aunque eso requerirá más espacio en disco). Verifique el código en la herramienta de distancia, es bastante trivial leer el archivo binario". Desafortunadamente, no sé suficiente C para entender http://word2vec.googlecode.com/svn/trunk/distance.c .

Supuestamente, gensim puede hacer esto, pero todos los tutoriales que he encontrado parecen tratar sobre la conversión de texto, no al revés.

¿Alguien puede sugerir modificaciones al código C o instrucciones para que gensim emita texto?

Answer 1

Aquí está el código que uso:

import codecs
from gensim.models import Word2Vec
def main():
path_to_model = ''GoogleNews-vectors-negative300.bin''
output_file = ''GoogleNews-vectors-negative300_test.txt''
export_to_file(path_to_model, output_file)
def export_to_file(path_to_model, output_file):
output = codecs.open(output_file, ''w'' , ''utf-8'')
model = Word2Vec.load_word2vec_format(path_to_model, binary=True)
print(''done loading Word2Vec'')
vocab = model.vocab
for mid in vocab:
#print(model[mid])
#print(mid)
vector = list()
for dimension in model[mid]:
vector.append(str(dimension))
#line = { "mid": mid, "vector": vector }
vector_str = ",".join(vector)
line = mid + "/t" + vector_str
#line = json.dumps(line)
output.write(line + "/n")
output.close()
if __name__ == "__main__":
main()
#cProfile.run(''main()'') # if you want to do some profiling

Answer 2

En la lista de correo de word2vec-toolkit, Thomas Mensink ha proporcionado una answer en forma de un pequeño programa en C que convertirá un archivo .bin en texto. Esta es una modificación del archivo distance.c. Reemplacé la distance.c original con el código de Thomas a continuación y reconstruí word2vec (make clean; make), y cambié el nombre de la distancia compilada a readbin. Luego ./readbin vector.bin creará una versión de texto de vector.bin.

// Copyright 2013 Google Inc. All Rights Reserved.
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except in compliance with the License.
// You may obtain a copy of the License at
//
// http://www.apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS,
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
// See the License for the specific language governing permissions and
// limitations under the License.
#include <stdio.h>
#include <string.h>
#include <math.h>
#include <malloc.h>
const long long max_size = 2000; // max length of strings
const long long N = 40; // number of closest words that will be shown
const long long max_w = 50; // max length of vocabulary entries
int main(int argc, char **argv) {
FILE *f;
char file_name[max_size];
float len;
long long words, size, a, b;
char ch;
float *M;
char *vocab;
if (argc < 2) {
printf("Usage: ./distance <FILE>/nwhere FILE contains word projections in the BINARY FORMAT/n");
return 0;
}
strcpy(file_name, argv[1]);
f = fopen(file_name, "rb");
if (f == NULL) {
printf("Input file not found/n");
return -1;
}
fscanf(f, "%lld", &words);
fscanf(f, "%lld", &size);
vocab = (char *)malloc((long long)words * max_w * sizeof(char));
M = (float *)malloc((long long)words * (long long)size * sizeof(float));
if (M == NULL) {
printf("Cannot allocate memory: %lld MB %lld %lld/n", (long long)words * size * sizeof(float) / 1048576, words, size);
return -1;
}
for (b = 0; b < words; b++) {
fscanf(f, "%s%c", &vocab[b * max_w], &ch);
for (a = 0; a < size; a++) fread(&M[a + b * size], sizeof(float), 1, f);
len = 0;
for (a = 0; a < size; a++) len += M[a + b * size] * M[a + b * size];
len = sqrt(len);
for (a = 0; a < size; a++) M[a + b * size] /= len;
}
fclose(f);
//Code added by Thomas Mensink
//output the vectors of the binary format in text
printf("%lld %lld #File: %s/n",words,size,file_name);
for (a = 0; a < words; a++){
printf("%s ",&vocab[a * max_w]);
for (b = 0; b< size; b++){ printf("%f ",M[a*size + b]); }
printf("/b/b/n");
}
return 0;
}

Eliminé el "/ b / b" de printf .

Por cierto, el archivo de texto resultante todavía contenía la palabra de texto y algunos espacios en blanco innecesarios que no quería para algunos cálculos numéricos. Eliminé la columna de texto inicial y el espacio en blanco final de cada línea con comandos bash.

cut --complement -d '' '' -f 1 GoogleNews-vectors-negative300.txt > GoogleNews-vectors-negative300_tuples-only.txt
sed ''s/ $//'' GoogleNews-vectors-negative300_tuples-only.txt

Answer 3

Estoy usando gensim para trabajar con GoogleNews-vectors-negative300.bin e incluyo un indicador binary = True al cargar el modelo.

from gensim import word2vec
model = word2vec.Word2Vec.load_word2vec_format(''Path/to/GoogleNews-vectors-negative300.bin'', binary=True) 

Parece estar funcionando bien.

Answer 4

Puede cargar el archivo binario en word2vec y luego guardar la versión de texto de esta manera:

from gensim.models import word2vec
model = word2vec.Word2Vec.load_word2vec_format(''Path/to/GoogleNews-vectors-negative300.bin'', binary=True)
model.save("file.txt")

``

Answer 5

Si obtiene el error:

ImportError: No module named models.word2vec

entonces es porque hubo una actualización de API. Esto funcionará:

from gensim.models.keyedvectors import KeyedVectors
model = KeyedVectors.load_word2vec_format(''./GoogleNews-vectors-negative300.bin'', binary=True)
model.save_word2vec_format(''./GoogleNews-vectors-negative300.txt'', binary=False)

Answer 6

Solo una actualización rápida ya que ahora hay una manera más fácil.

Si está utilizando word2vec de https://github.com/dav/word2vec existe una opción adicional llamada -binary que acepta 1 para generar un archivo binario o 0 para generar un archivo de texto. Este ejemplo proviene de demo-word.sh en el repositorio:

time ./word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 0 -iter 15

Answer 7

Tuve un problema similar, quería obtener la salida de los modelos bin / non-bin (gensim) como CSV.

Aquí está el código que hace eso en Python, se supone que tiene instalado Gensim:

https://gist.github.com/dav009/10a742de43246210f3ba

Answer 8

Utilizo este código para cargar el modelo binario, luego guardo el modelo en un archivo de texto,

from gensim.models.keyedvectors import KeyedVectors
model = KeyedVectors.load_word2vec_format(''path/to/GoogleNews-vectors-negative300.bin'', binary=True)
model.save_word2vec_format(''path/to/GoogleNews-vectors-negative300.txt'', binary=False)

Referencias: API y nullege .

Nota:

El código anterior es para la nueva versión de gensim. Para la versión anterior , usé este código :

from gensim.models import word2vec
model = word2vec.Word2Vec.load_word2vec_format(''path/to/GoogleNews-vectors-negative300.bin'', binary=True)
model.save_word2vec_format(''path/to/GoogleNews-vectors-negative300.txt'', binary=False)

Answer 9

el formato es IEEE 754 formato de punto flotante binario de precisión simple: binario32 http://en.wikipedia.org/wiki/Single-precision_floating-point_format Usan little-endian.

Dejemos un ejemplo:

• La primera línea es el formato de cadena: "3000000 300 / n" (vocabSize & vecSize, getByte till byte == ''/ n'')

• La siguiente línea incluye primero la palabra del vocabulario y luego (300 * 4 bytes de valor flotante, 4 bytes para cada dimensión):

  getByte till byte==32 (space). (60 47 115 62 32 => </s>[space])

• entonces cada próximo 4 byte representará un número flotante

  4 bytes siguientes: 0 0-108 58 => 0.001129150390625.

Puede consultar el enlace de wikipedia para ver cómo, déjeme hacer esto como ejemplo:

(little-endian -> orden inverso) 00111010 10010100 00000000 00000000

• primero es bit de signo => signo = 1 (más = -1)
• 8 bits siguientes => 117 => exp = 2 ^ (117-127)
• 23 bits siguientes => pre = 0 * 2 ^ (- 1) + 0 * 2 ^ (- 2) + 1 * 2 ^ (- 3) + 1 * 2 ^ (- 5)

valor = signo * exp * pre

Answer 10

convertvec es una pequeña herramienta para convertir vectores entre diferentes formatos para la biblioteca word2vec.

Convierta vectores de binario a texto plano:

./convertvec bin2txt input.bin output.txt

Convierta vectores de texto plano a binario:

./convertvec txt2bin input.txt output.bin