¿Puedo trabajar con los albañiles en la construcción de mi casa sin pertenecer a su empresa?

Tengo una casa antigua que quiero demoler para construir una casa nueva, para mi hija y su pareja. La idea es contratar unos albañiles. Soy un albañil de baja permanente pero me gustaría estar dentro de la obra en su construcción. Querría saber si en caso de inspección tendría algún problema y de que manera se puede hacer.