Problema con limonero

En Febrero me compré un limonero en un vivero (estaba en el exterior). No se la edad, pero tiene un tronco de unos 4 cm y una altura de unos 2,25 m. La verdad es que cuando me lo compre estaba bastante tocado, por el frío que había pasado este invierno, supongo, con pocas hojas y arrugadas. Lo dejé en el tiesto y se recuperó, saliéndole bastantes hojas en Marzo. A principios de Abril vi que tenía pulgones y me compré un producto de Cruz Verde para éstos y lo rocié en abundancia. Pero a partir de entonces empezaron las hojas a debilitarse y caerse, de modo que ahora tiene muy pocas, y se le siguen cayendo. Para colmo coincide con la época de floración. ¿Le quito las flores para que no consuma más savia, o no tiene nada que ver?. Le eché la semana pasada nitrophoska cítricos.