punteros - vectores en c++ pdf

Devolver un puntero a una matriz asignada del dispositivo de C a Fortran

Question

En primer lugar, soy algo nuevo con Fortran / C / CUDA. En segundo lugar, estoy trabajando en un programa Fortran / C que realiza la multiplicación vectorial matricial en la GPU usando cuBLAS. Necesito multiplicar varios vectores (hasta 1000) con una matriz antes de tener que actualizar los contenidos de la matriz. Sin embargo, la versión actual que tengo tiene que reasignar la matriz cada vez que se envía un nuevo vector a la GPU (que es increíblemente derrochador y lento ya que la matriz no ha cambiado).

Quiero ser capaz de multiplicar la matriz con el vector sin tener que reasignar la matriz para cada vector. Una idea que invoqué fue llamar a una función C separada que asignaría la matriz a la GPU, devuelve un puntero al programa principal Fortran y luego llama a otra función C que realiza la multiplicación vectorial matricial.

Usando ISO_C_BINDING, devolví un puntero a un número de punto flotante en la variable:

type(C_PTR) :: ptr

y cuando intento pasar esto a la función C del vector matricial:

en Fortran

call cudaFunction(ptr,vector, N)

Cª

extern "C" void cudaFunction_(float *mat, float *vector, int *N)

todo se compila y se ejecuta, pero la ejecución de cublasSgemv no se ejecuta. ¿Alguna idea sobre por qué esto estaría sucediendo? He visto algunas publicaciones relacionadas pero nunca intentan enviar el puntero devuelto a C y aquí es donde (creo) estoy teniendo el problema.

¡Gracias por adelantado!

Answer 1

Sugeriría que no reinventes la rueda, sino que uses las fijaciones de cublas fortran que se proporcionan para este propósito.

El contenedor "thunking" no es lo que quieres. Realiza operaciones de copia implícitas según sea necesario, cada vez que utiliza una llamada de cublas en fortran.

Desea el contenedor "non-thunking", por lo que tiene control explícito sobre la copia en curso. Puede usar equivalentes Get/SetMatrix de Get/SetMatrix y Get/SetVector para copiar datos de ida y vuelta.

Hay un código de ejemplo (ejemplo B.2) que muestra cómo usar el contenedor no thunk incluido en la documentación de cublas.

Incluso si desea reinventar la rueda, el contenedor le mostrará cómo hacer que funcione la sintaxis necesaria para moverse entre C y Fortran.

En una instalación estándar de Linux CUDA, los contenedores están en /usr/local/cuda/src El contenedor no thunk es /usr/local/cuda/src/fortran.c

Aquí hay un ejemplo completamente trabajado:

cublasf.f:

      program cublas_fortran_example
      implicit none
      integer i, j

c     helper functions
      integer cublas_init
      integer cublas_shutdown
      integer cublas_alloc
      integer cublas_free
      integer cublas_set_vector
      integer cublas_get_vector
c     selected blas functions
      double precision cublas_ddot
      external cublas_daxpy
      external cublas_dscal
      external cublas_dcopy
      double precision cublas_dnrm2
c     cublas variables
      integer cublas_status
      real*8 x(30), y(30)
      double precision alpha, beta
      double precision nrm
      integer*8 d_x, d_y, d_alpha, d_beta, d_nrm
      integer*8 dsize1, dlength1, dlength2
      double precision dresult



      write(*,*) "testing cublas fortran example"

c     initialize cublas library
c     CUBLAS_STATUS_SUCCESS=0
      cublas_status = cublas_init()
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS Library initialization failed"
         write(*,*) "cublas_status=",cublas_status
         stop
      endif
c     initialize data
      do j=1,30
        x(j) = 1.0
        y(j) = 2.0
      enddo
      dsize1 = 8
      dlength1 = 30
      dlength2 = 1
      alpha = 2.0
      beta = 3.0
c     allocate device storage
      cublas_status = cublas_alloc(dlength1, dsize1, d_x)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS device malloc failed"
         stop
      endif
      cublas_status = cublas_alloc(dlength1, dsize1, d_y)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS device malloc failed"
         stop
      endif
      cublas_status = cublas_alloc(dlength2, dsize1, d_alpha)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS device malloc failed"
         stop
      endif
      cublas_status = cublas_alloc(dlength2, dsize1, d_beta)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS device malloc failed"
         stop
      endif
      cublas_status = cublas_alloc(dlength2, dsize1, d_nrm)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS device malloc failed"
         stop
      endif

c     copy data from host to device

      cublas_status = cublas_set_vector(dlength1, dsize1, x, dlength2,
     >     d_x, dlength2)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS copy to device failed"
         write(*,*) "cublas_status=",cublas_status
         stop
      endif
      cublas_status = cublas_set_vector(dlength1, dsize1, y, dlength2,
     >     d_y, dlength2)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS copy to device failed"
         write(*,*) "cublas_status=",cublas_status
         stop
      endif

      dresult = cublas_ddot(dlength1, d_x, dlength2, d_y, dlength2)
      write(*,*) "dot product result=",dresult

      dresult = cublas_dnrm2(dlength1, d_x, dlength2)
      write(*,*) "nrm2 of x result=",dresult

      dresult = cublas_dnrm2(dlength1, d_y, dlength2)
      write(*,*) "nrm2 of y result=",dresult

      call cublas_daxpy(dlength1, alpha, d_x, dlength2, d_y, dlength2)
      cublas_status = cublas_get_vector(dlength1, dsize1, d_y, dlength2,
     >     y, dlength2)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS copy to host failed"
         write(*,*) "cublas_status=",cublas_status
         stop
      endif
      write(*,*) "daxpy y(1)  =", y(1)
      write(*,*) "daxpy y(30) =", y(30)


      call cublas_dscal(dlength1, beta, d_x, dlength2)
      cublas_status = cublas_get_vector(dlength1, dsize1, d_x, dlength2,
     >     x, dlength2)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS copy to host failed"
         write(*,*) "cublas_status=",cublas_status
         stop
      endif
      write(*,*) "dscal x(1)  =", x(1)
      write(*,*) "dscal x(30) =", x(30)


      call cublas_dcopy(dlength1, d_x, dlength2, d_y, dlength2)
      cublas_status = cublas_get_vector(dlength1, dsize1, d_y, dlength2,
     >     y, dlength2)
      if (cublas_status /= 0) then
         write(*,*) "CUBLAS copy to host failed"
         write(*,*) "cublas_status=",cublas_status
         stop
      endif
      write(*,*) "dcopy y(1)  =", y(1)
      write(*,*) "dcopy y(30) =", y(30)

c     deallocate GPU memory and exit
      cublas_status = cublas_free(d_x)
      cublas_status = cublas_free(d_y)
      cublas_status = cublas_free(d_alpha)
      cublas_status = cublas_free(d_beta)
      cublas_status = cublas_free(d_nrm)
      cublas_status = cublas_shutdown()
      stop
      end

compilar / ejecutar:

$ gfortran -c -o cublasf.o cublasf.f
$ gcc -c -DCUBLAS_GFORTRAN -I/usr/local/cuda/include -I/usr/local/cuda/src -o fortran.o /usr/local/cuda/src/fortran.c
$ gfortran -L/usr/local/cuda/lib64 -lcublas -o cublasf cublasf.o fortran.o
$ ./cublasf
 testing cublas fortran example
 dot product result=   60.0000000000000
 nrm2 of x result=   5.47722557505166
 nrm2 of y result=   10.9544511501033
 daxpy y(1)  =   4.00000000000000
 daxpy y(30) =   4.00000000000000
 dscal x(1)  =   3.00000000000000
 dscal x(30) =   3.00000000000000
 dcopy y(1)  =   3.00000000000000
 dcopy y(30) =   3.00000000000000
$ 

CUDA 5.0, RHEL 5.5