python-2.7 - significado - python html

Implementación rápida de n-gramas de caracteres usando python

Question

Escribí el siguiente código para calcular bigramas de caracteres y la salida está justo debajo. Mi pregunta es, ¿cómo obtengo una salida que excluye el último carácter (es decir, t)? ¿Existe un método más rápido y eficiente para calcular n-gramas de caracteres?

b=''student''
>>> y=[]
>>> for x in range(len(b)):
    n=b[x:x+2]
    y.append(n)
>>> y
[''st'', ''tu'', ''ud'', ''de'', ''en'', ''nt'', ''t'']

Aquí está el resultado que me gustaría obtener: [''st'',''tu'',''ud'',''de'',''nt]

Gracias por adelantado por tus sugerencias.

Answer 1

Esta función le da ngrams para n = 1 a n:

def getNgrams(sentences, n):
    ngrams = []
    for sentence in sentences:
        _ngrams = []
        for _n in range(1,n+1):
            for pos in range(1,len(sentence)-_n):
                _ngrams.append([sentence[pos:pos+_n]])
        ngrams.append(_ngrams)
    return ngrams

Answer 2

Para generar bigramas:

In [8]: b=''student''

In [9]: [b[i:i+2] for i in range(len(b)-1)]
Out[9]: [''st'', ''tu'', ''ud'', ''de'', ''en'', ''nt'']

Para generalizar a una n diferente:

In [10]: n=4

In [11]: [b[i:i+n] for i in range(len(b)-n+1)]
Out[11]: [''stud'', ''tude'', ''uden'', ''dent'']

Answer 3

Prueba zip

>>> def word2ngrams(text, n=3, exact=True):
...   """ Convert text into character ngrams. """
...   return ["".join(j) for j in zip(*[text[i:] for i in range(n)])]
... 
>>> word2ngrams(''foobarbarblacksheep'')
[''foo'', ''oob'', ''oba'', ''bar'', ''arb'', ''rba'', ''bar'', ''arb'', ''rbl'', ''bla'', ''lac'', ''ack'', ''cks'', ''ksh'', ''she'', ''hee'', ''eep'']

pero tenga en cuenta que es más lento:

import string, random, time

def zip_ngrams(text, n=3, exact=True):
  return ["".join(j) for j in zip(*[text[i:] for i in range(n)])]

def nozip_ngrams(text, n=3):
    return [text[i:i+n] for i in range(len(text)-n+1)]

# Generate 10000 random strings of length 100.
words = [''''.join(random.choice(string.ascii_uppercase) for j in range(100)) for i in range(10000)]

start = time.time()
x = [zip_ngrams(w) for w in words]
print time.time() - start

start = time.time()
y = [nozip_ngrams(w) for w in words]
print time.time() - start        

print x==y

[afuera]:

0.314492940903
0.197558879852
True