selectors - python convierte caracteres chinos en url

selectors scrapy

Question

Tengo una url como

href = "../ job / jobarea.asp? C_jobtype = 經營 管理 people y peoplenumber = 151" ,

esto se muestra en el elemento de inspección. Pero cuando se abre en una nueva pestaña, se muestra como

../job/jobarea.asp?C_jobtype=%B8g%C0%E7%BA%DE%B2z%A5D%BA%DE&peoplenumber=151

¿Cómo sé qué tipo de codificación usa el navegador para convertirla? Cuando trato de hacer scrapy, se muestra algún otro formato y se detiene como 500 error interno del servidor. ¿Podrías por favor explicarme?

Answer 1

Es tradicional chino, así que prueba cp950

#-*-coding:utf8 -*-

import urllib
s = ''經營管理主管''.decode(''utf-8'').encode(''cp950'')
print urllib.quote(s)

q =''%B8g%C0%E7%BA%DE%B2z%A5D%BA%DE''
print urllib.unquote(q).decode(''cp950'').encode(''utf-8'')

Resultado

%B8g%C0%E7%BA%DE%B2z%A5D%BA%DE
經營管理主管