Dos plagas distintas en manzano

Buenas noches: Hace tres años plante en tierra un manzano cuyas semillas plante de una manzana Fuji, ya llevaba más de un año en una maceta grande, echo sus primeras flores pero no cuajo el fruto, pregunte en dos viveros si era necesario l injerto y uno me dijo que si y otro que no así que opte por ver como sabían las manzanas, el año pasado volvió a echar muchas flores y si crecieron manzanas no muy grandes pero si dulces aunque no sabían a Fuji ni tenían el mismo color, pero junto con los frutos aparecieron en el envés de las hojas unos bichitos marrones y negros (arañuela?) y luego como unos gusanos blancos diminutos y poco después en la hoja aparecía un círculo marrón, ese año cogí tres o cuatro kilos de manzanas pero este año apenas si llegó a 1 / 2 kilo pues el resto tenían agujeros y se pudrían, le eche lo que me dijeron en el vivero pero no sirvió: La primera vez se lo eche cuando apenas empezaba a brotar y luego dos veces mas y enseguida empezaron las plagas. Intento que las hormigas no suban por si son las que atraen esas plagas pero no lo consigo y pensado arrancar el árbol pero me da pena. Esta junto a un muro colindante donde el vecino tiene un seto de ciprés :Tiene solución:.

Gracias por su atención y espero a ver si pueden ayudarme.