Vamos por partes a ver si te puedo ayudar.
1. Entiendo que repartes en Madrid capital, me tendrías que decir qué distancia en km. Hay hasta San Fernando.
2. Lo normal, legal y sobre todo, deseable, es que si a esas horas finaliza tu jornada laboral, a esa hora ya te encontraras en San Fernando.
3. El problema viene cuando no se diferencia entre horario de trabajo y horario de servicio al cliente, ya que si por ejemplo la empresa ofrece servicio hasta las 19:30 (por ejemplo) la empresa supone que hasta las 19:30 tengas que estar repartiendo en Madrid.
En realidad no conozco el motivo de la pregunta, pero si te refieres al hecho de que te tengan repartiendo hasta última hora y a eso le tienes que añadir volver a San Fernando, descargar y demás (lo cual no sé si será tu caso pero es muy muy frecuente en el sector), evidentemente finalizas mucho más tarde y habría que ver si la empresa te paga esas horas extras, porque no creo que quieran dejar la zona sin repartir antes de tiempo o desatendida. Si es que hay un tiempo mínimo, yo entiendo que debería comprender lo que tardes en ir de una ciudad a otra, más descargar y demás acciones para finalizar el trabajo del día.
En este caso, desconozco si hay ese tiempo mínimo legal que comentas. Lo que te recomiendo es que lo consultes con un abogado, que te orientará mejor.