·
Haremos la integral definida entre 0 e infinito y su valor debe ser 1. Pero como la integral no es sencilla que necesita dos pasos, de momento calcularemos la indefinida, que los límites molestan mucho en las integrales por partes.
$$\begin{align}&\int ax^2\,e^{-bx^2}dx=\\&\\&u=ax\qquad\qquad\quad du = a\;dx\\&dv=x\,e^{-bx^2}dx\qquad v=-\frac 1{2b}e^{-bx^2}\\&\\&=-\frac {a}{2b}x\,e^{-bx^2}+\frac a{2b}\int e^{-bx^2}dx=\\&\\&t=\sqrt {2b}\; x\implies bx^2=\frac {t^2}2\\&dt=\sqrt {2b}\; dx\\&\\&=-\frac a{2b \sqrt {2b}}te^{-\frac{t^2}2}+\frac{a}{2b \sqrt{2b}}\int e^{-\frac{t^2}2}dt =\\&\\&\frac{a}{2b \sqrt {2b}}\left(\int e^{-\frac{t^2}2}dt-te^{-\frac{t^2}2} \right)\\&\\&\text{los límites para t son los mismos 0 e }\infty\\&\\&\text{Esa integral suena de una distribución N(0,1)}\\&\\&\text{sabemos que}\\&\\&\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{t^2}{2}}dt=1\implies \\&\\&\frac{1}{\sqrt{2\pi}}\int_{0}^{\infty}e^{-\frac{t^2}{2}}dt=\frac 12\implies\\&\\&\int_{0}^{\infty}e^{-\frac{t^2}{2}}dt=\frac{\sqrt{2\pi}}{2}\\&\\&\text{Y evaluando la indefinida tendrá que valer 1}\\&\\&\frac{a}{2b \sqrt {2b}}\left[\int e^{-\frac{t^2}2}dt-te^{-\frac{t^2}2} \right]_0^{\infty}=\\&\\&\frac{a}{2b \sqrt{2b}}·\left(\frac{\sqrt{2\pi}}{2}-0+0\right)=\frac{a}{4b}\sqrt{\frac{\pi}b}=1\implies\\&\\&a=4b· \sqrt{\frac b\pi}\end{align}$$
Y eso es todo, solo te dejo a ti que pongas el valor de b para obtener el valor exacto de a. He comprobado que está bien para cualquier valor genérico de b, la integral da 1.