Cuando se puede quebrantar un convenio regulador de custodia

Buenos días.

Con mi ex pareja tenemos un convenio regulador de la custodia de nuestro hijo de 9 meses, que le da derecho a llevárselo 3 veces a la semana, sin pernoctas hasta que cumpla 1 año de edad. Habíamos acordado verbalmente con mi ex pareja de que cuando él tuviera el niño no lo haría en la compañía de una persona en concreto, ya que con esta tuve un hipercanse verbal bastante grave. Resulta que él ha dejado de cumplir este acuerdo verbal e incluso la persona en cuestión tiene fotos con mi hijo en brazos...Se trata de una persona que puede ser una influencia negativa para el niño, ya que aparte de ser una persona con mucha ira y odio en su carácter, también toma drogas (fuma porros) de forma habitual (uno diario). Tengo derecho a negarme a entregar al niño y pedir que las visitas se realicen en mi domicilio, hasta que se elabore algún tipo de acuerdo por escrito en cuanto a la presencia de esta persona cuando mi ex pareja tiene el niño? ¿De que manera puedo dejar constancia de forma oficial, porque me niego a entregarle mi hijo a mi ex pareja?
Muchas gracias!