examples - tensorflow neural network

En tensorflow, ¿cuál es la diferencia entre tf.add y operator(+)?

Question

En los tutoriales de flujo tensor, veo los dos códigos como tf.add(tf.matmul(X, W), b) y tf.matmul(X, W) + b , ¿cuál es la diferencia entre utilizar la función matemática tf.add() , tf.assign() , etc. y los operadores + y = , etc., en precisión u otros aspectos?

Answer 1

No hay diferencia en la precisión entre a+b y tf.add(a, b) . El primero se traduce en a.__add__(b) que se asigna a tf.add mediante la siguiente línea en math_ops.py

_OverrideBinaryOperatorHelper(gen_math_ops.add, "add")

La única diferencia es que el nombre de nodo en el Gráfico subyacente es add lugar de Add . En general, puede comparar cosas mirando la representación gráfica subyacente como esta

tf.reset_default_graph()
dtype = tf.int32
a = tf.placeholder(dtype)
b = tf.placeholder(dtype)
c = a+b
print(tf.get_default_graph().as_graph_def())

También puede ver esto directamente inspeccionando el método __add__ . Hay un nivel adicional de indirección porque es un cierre, pero puede obtener la función subyacente de la siguiente manera

real_function = tf.Tensor.__add__.im_func.func_closure[0].cell_contents
print(real_function.__module__ + "." + real_function.__name__)
print(tf.add.__module__ + "." + tf.add.__name__)

Y verás el resultado a continuación, lo que significa que llaman a la misma función subyacente

tensorflow.python.ops.gen_math_ops.add
tensorflow.python.ops.gen_math_ops.add

Puede ver desde tf.Tensor.OVERLOADABLE_OPERATORS que los siguientes métodos especiales de Python están potencialmente sobrecargados por las versiones apropiadas de TensorFlow

{''__abs__'',
 ''__add__'',
 ''__and__'',
 ''__div__'',
 ''__floordiv__'',
 ''__ge__'',
 ''__getitem__'',
 ''__gt__'',
 ''__invert__'',
 ''__le__'',
 ''__lt__'',
 ''__mod__'',
 ''__mul__'',
 ''__neg__'',
 ''__or__'',
 ''__pow__'',
 ''__radd__'',
 ''__rand__'',
 ''__rdiv__'',
 ''__rfloordiv__'',
 ''__rmod__'',
 ''__rmul__'',
 ''__ror__'',
 ''__rpow__'',
 ''__rsub__'',
 ''__rtruediv__'',
 ''__rxor__'',
 ''__sub__'',
 ''__truediv__'',
 ''__xor__''}

Esos métodos se describen en Python reference 3.3.7 : emulación de tipos numéricos. Tenga en cuenta que el modelo de datos de Python no proporciona una forma de sobrecargar el operador de asignación = por lo que la asignación siempre usa la implementación nativa de Python.