python - whl - PyQt Class no funciona para el segundo uso

pyqt4 4.11 4 cp36 cp36m win_amd64 whl is not a supported wheel on this platform

Question

Estoy usando PyQt para cargar completamente una página (incluido JS) y obtener su contenido usando Beautiful Soup. Funciona bien en la primera iteración, pero después, se bloquea. No tengo un gran conocimiento en Python, y mucho menos en PyQt, por lo que cualquier ayuda es bienvenida.

Clase prestada desde aquí .

from PyQt4.QtCore import QUrl, SIGNAL
from PyQt4.QtGui import QApplication
from PyQt4.QtWebKit import QWebPage

from bs4 import BeautifulSoup
from bs4.dammit import UnicodeDammit
import sys
import signal


class Render(QWebPage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)
        self.html = None
        signal.signal(signal.SIGINT, signal.SIG_DFL)
        self.connect(self, SIGNAL(''loadFinished(bool)''), self._finished_loading)
        self.mainFrame().load(QUrl(url))
        self.app.exec_()

    def _finished_loading(self, result):
        self.html = self.mainFrame().toHtml()
        self.soup = BeautifulSoup(UnicodeDammit(self.html).unicode_markup)
        self.app.quit() 

###################################################################


l = ["http://www.google.com/?q=a", "http://www.google.com/?q=b", "http://www.google.com/?q=c"]

for page in l:
    soup = Render(page).soup
    print("# soup done: " + page)

Answer 1

El ejemplo se bloquea porque la clase RenderPage intenta crear una nueva QApplication y event-loop para cada url que intenta cargar.

En su lugar, solo se debe QApplication una QApplication y la subclase QWebPage debe cargar una nueva url después de que se haya procesado cada página, en lugar de utilizar for-loop.

Aquí hay una re-escritura del ejemplo que debería hacer lo que quiera:

import sys, signal
from bs4 import BeautifulSoup
from bs4.dammit import UnicodeDammit
from PyQt4 import QtCore, QtGui, QtWebKit

class WebPage(QtWebKit.QWebPage):
    def __init__(self):
        QtWebKit.QWebPage.__init__(self)
        self.mainFrame().loadFinished.connect(self.handleLoadFinished)

    def process(self, items):
        self._items = iter(items)
        self.fetchNext()

    def fetchNext(self):
        try:
            self._url, self._func = next(self._items)
            self.mainFrame().load(QtCore.QUrl(self._url))
        except StopIteration:
            return False
        return True

    def handleLoadFinished(self):
        self._func(self._url, self.mainFrame().toHtml())
        if not self.fetchNext():
            print(''# processing complete'')
            QtGui.qApp.quit()


def funcA(url, html):
    print(''# processing:'', url)
    # soup = BeautifulSoup(UnicodeDammit(html).unicode_markup)
    # do stuff with soup...

def funcB(url, html):
    print(''# processing:'', url)
    # soup = BeautifulSoup(UnicodeDammit(html).unicode_markup)
    # do stuff with soup...

if __name__ == ''__main__'':

    items = [
        (''http://stackoverflow.com'', funcA),
        (''http://google.com'', funcB),
        ]

    signal.signal(signal.SIGINT, signal.SIG_DFL)
    print(''Press Ctrl+C to quit/n'')
    app = QtGui.QApplication(sys.argv)
    webpage = WebPage()
    webpage.process(items)
    sys.exit(app.exec_())