Hormigas en verano en la planta de arriba de la viendo

Desde el año pasado, en verano, me aparecen hormigas en la planta superior de la vivienda. Es un duplex, y en la parte de arriba tenemos una terraza. No se si es por eso que solo aparecen arriba... Porque aparecen arriba y solo en verano. Este año ya vuelven a estar aquí.

Supongo que tienen algún nido entre las paredes, pero buscan cualquier pequeño agujerito en las juntas, y zócalos para entrar. Llevo ya tres semanas, poniendo insecticida, y luego voy y tapo el agujero con masilla blanca. Pero a los pocos días encuentran otra grieta o agujero... Repito la acción, y así me paso las semanas. Y me da que el verano también será igual. No hay comida arriba, y hemos limpiado, pero ellas entran igualmente y se vuelven locas haciendo filas y buscando lo que sea.

¿Cuál es la mejor solución?