Invalidez permanente total

llevo 4 años cobrando una prestación por invalidez por alergias,en su día me dijeron que podía trabajar en otro oficio que no fuera algo relacionado con lo anterior pero no me quedo claro,en el caso de que encuentre trabajo tendría que avisar a la seg.social pero no me tocarían la prestación que estoy cobrando verdad?