¿El domicilio fiscal de un autónomo puede ser consultado por cualquier persona?

Estoy pensando en hacerme autónomo para ejercer por libre mi profesión. Pero por una serie de problemas familiares (amenazas incluidas) no me interesa que según que gente sepa donde vivo. Es por ello que os quería preguntar esto. Según he leído a diferencia del domicilio social de una empresa que se puede poner en un centro de negocios, parece ser que con el domicilio fiscal no se puede. ¿Es de libre acceso a este tipo de información por cualquier persona? ¿Yo puedo saber quién ha consultado mis datos? Gracias y siento un poco lo "raro" de la pregunta, pero prefiero vivir tranquilo.