parsing - próximos - Lexing y análisis al mismo tiempo en F#

pronóstico del tiempo en lexington kentucky

Question

¿Existe una manera fácil de obtener lexing y análisis para que se ejecuten al mismo tiempo cuando se usan fslex y fsyacc?

Answer 1

En primer lugar, en el caso real, el lexing y el análisis sintáctico son críticos para el tiempo. Especialmente si necesita procesar tokens antes de analizar. Por ejemplo: filtrado y recopilación de comentarios o resolución de conflictos dependientes del contexto. En este caso, el analizador a menudo espera un lexer.

La respuesta para una pregunta. Puede ejecutar lexing y analizar al mismo tiempo con MailboxProcessor.

Núcleo de la idea Puede ejecutar lexer en mailBoxProcessor. Lexer debería producir nuevos tokens, procesarlos y publicarlos. Lexer suele ser más rápido que el analizador, y a veces debería esperar a un analizador sintáctico. El analizador puede recibir el próximo token cuando sea necesario. Código proporcionado a continuación. Puede modificar los tiempos de espera, traceStep para encontrar el óptimo para su solución.

[<Literal>]
let traceStep = 200000L
let tokenizerFun =
let lexbuf = Lexing.LexBuffer<_>.FromTextReader sr
let timeOfIteration = ref System.DateTime.Now
fun (chan:MailboxProcessor<lexer_reply>) ->
let post = chan.Post
async {
while not lexbuf.IsPastEndOfStream do
lastTokenNum := 1L + !lastTokenNum
if (!lastTokenNum % traceStep) = 0L then
let oldTime = !timeOfIteration
timeOfIteration := System.DateTime.Now
let mSeconds = int64 ((!timeOfIteration - oldTime).Duration().TotalMilliseconds)
if int64 chan.CurrentQueueLength > 2L * traceStep then
int (int64 chan.CurrentQueueLength * mSeconds / traceStep) |> System.Threading.Thread.Sleep
let tok = Calc.Lexer.token lexbuf
// Process tokens. Filter comments. Add some context-depenede information.
post tok
}
use tokenizer = new MailboxProcessor<_>(tokenizerFun)
let getNextToken (lexbuf:Lexing.LexBuffer<_>) =
let res = tokenizer.Receive 150000 |> Async.RunSynchronously
i := 1L + !i
if (!i % traceStep) = 0L then
let oldTime = !timeOfIteration
timeOfIteration := System.DateTime.Now
let seconds = (!timeOfIteration - oldTime).TotalSeconds
res
let res =
tokenizer.Start()
Calc.Parser.file getNextToken <| Lexing.LexBuffer<_>.FromString "*this is stub*"

La solución completa está disponible aquí: https://github.com/YaccConstructor/ConcurrentLexPars En esta solución, solo demostramos la implementación completa de la idea descrita. La comparación de rendimiento no es real porque el cálculo semántico es muy simple y no requiere procesamiento de tokens.

Para conocer el resultado de comparación de rendimiento, consulte el informe completo https://docs.google.com/document/d/1K43g5jokNKFOEHQJVlHM1gVhZZ7vFK2g9CJHyAVtUtg/edit?usp=sharing Aquí comparamos el rendimiento de la solución secuencial y concurrente para el analizador del subconjunto de T-SQL. Secuencial: 27 seg., Concurrente: 20 seg.

También usamos esta técnica en el traductor T-SQL de producción.