Puede utilizar un subconjunto de TeXmarkup en cualquier cadena de texto de Matplotlib colocándolo dentro de un par de signos de dólar ($).
# math text
plt.title(r'$\alpha > \beta$')
Para hacer subíndices y superíndices, use los símbolos '_' y '^' -
r'$\alpha_i> \beta_i$'
import numpy as np
import matplotlib.pyplot as plt
t = np.arange(0.0, 2.0, 0.01)
s = np.sin(2*np.pi*t)
plt.plot(t,s)
plt.title(r'$\alpha_i> \beta_i$', fontsize=20)
plt.text(0.6, 0.6, r'$\mathcal{A}\mathrm{sin}(2 \omega t)$', fontsize = 20)
plt.text(0.1, -0.5, r'$\sqrt{2}$', fontsize=10)
plt.xlabel('time (s)')
plt.ylabel('volts (mV)')
plt.show()
La línea de código anterior generará el siguiente resultado: