Obligación civil con familiar

Le explico nuestro caso, somos un matrimonio con un hijo pequeño, vivimos con el abuelo de mi marido (el abuelo es el usufructuario de la casa, y la propietaria de la casa es una hermana de mi marido) Bien, nosotros tenemos pensado marcharnos a otra ciudad a vivir para buscar un futuro mejor, la cuestión es que el abuelo tiene una dependencia muy grande, necesita todo tipo de ayuda para todo, hemos solicitado a través de la ley de dependencia el derecho a residencia para el, ya que ninguna de las dos hermanas de mi marido (única familia que tiene el abuelo) quieren hacerse cargo de el. La asistenta social nos ha dicho que tardara bastante hasta que le concedan la residencia ya que la cosa va muy lento, nosotros estamos desesperados porque queremos marcharnos ya que en esta situación no podemos trabajar ninguno de los dos, por tener que cuidar al niño y su abuelo, y aun así siendo dos a veces no damos a basto. Nosotros le hemos dicho a la asistenta que nosotros nos vamos, que se busquen la vida para atender al abuelo, que le encuentren plaza en una residencia mientras no le concenden la que le corresponden, pero nos ha dicho que es difícil la cosa, que ademas que no podemos irnos porque tenemos unos deberes civiles con el abuelo, bueno, mi marido que es el nieto, que tiene unos derechos civiles por ser descendencia. Mi pregunta es, ¿qué puede pasarle a mi marido si nos vamos? ¿Los servicios sociales pueden denunciarlo? Y si eso ocurre, ¿qué puede pasarle a mi marido? ¿Puede ir a la cárcel por eso? Estamos en una situación limite en la que estamos aguantando mucho tanto física como psicológicamente ya que el abuelo es una persona muy difícil de llevar, nos vemos atrapados sin salida, por eso le ruego resuelva mis dudas