Qué cubre el seguro a todo riesgo

Hola,
Tengo una duda en los seguros a todo riesgo. Si por ejemplo mi coche está a mi nombre asegurado, pero se lo dejo a mi hermano, mi padre, etc. Y tienen un accidente, ¿el seguro se haría cargo?
Habitualmente no dejo el coche, pero si que me ha pasado un par de veces el dejárselo a mi hermano (por ejemplo, cuando tiene el suyo en el taller) y me han comentado que no lo haga porque si pasara algo, el seguro no me cubriría. Yo no lo entiendo así, ya que es una cosa circunstancial, e igual que yo normalmente cojo solo mi coche, hay ocasiones en las que tanto cojo coches que no son míos o dejo mi coche...