Vamos con una orientación.
Eliges la función para diferenciar en el planteo:
u = arcsen(a/x), cuyo diferencial queda expresado:
du = [ 1/(1+[a/x]2) ]*(-a/x2)*dx = [ 1/(1+[a2/x2]) ]*(-a/x2)*dx = [ 1/([x2+a2]/x2) ]*(-a/x2)*dx = [ x2/(x2+a2) ]*(-a/x2)*dx = -[ a/(x2+a2) ]*dx.
Eliges el diferencial de la función para integrar en el planteo:
dv = x*dx, integras, y queda:
v = (1/2)*x2.
Luego, aplicas el Método de Integración por Partes, y la integral de tu enunciado queda:
I = arcsen(a/x)*(1/2)*x2 - ∫ (1/2)*x2*(-[ a/(x2+a2) ]*dx) = (1/2)*x2*arcsen(a/x) + (1/2)*a * ∫ [x2/(x2+a2)]*dx;
luego, sumas y restas a2 en el numerador del arguemento de la integral secundaaria, asocias sus dos primeros términos, distribuyes el denominador, y queda:
I = (1/2)*x2*arcsen(a/x) + (1/2)*a * ∫ [ 1 - a2/(x2+a2) ]*dx,
y queda que separes en términos en la integral secundaria y resuelvas (observa que te quedará una integral directa en el primer término, y en la segunda podrás aplicar la sustitución, o cambio de variable: x = a*tanθ).
Haz el intento de terminar la tarea, y si te resulta necesario no dudes en volver a consultar.
Espero haberte ayudado.