Inspección de trabajo cobrando desempleo

Hace un año que estoy cobrando desempleo, pero de vez en cuando colaboro haciendo en tareas administrativas en el club de golf de un amigo. Hace una semana vino un inspector de empleo y yo estaba navegando por internet. Inmediatamente le dije que yo no trabajaba allí, que era socio del spa y que simplemente estaba allí porque mi amigo, que es el dueño me había pedido el favor de vigilar la entrada mientras atendía a un cliente. La funcionaria no se si me creyó o no, pero me apuntó el nombre y el dni en una hoja. Después hizo lo mismo con los trabajadores que estaban allí desempeñando su labor. Dejaron una hoja en la que citaban a la empresa unas semanas después para que aportasen información acerca de contratos, salarios, etc
Mi pregunta es: ¿Puedo por eso perder la prestación de desempleo? ¿Tendría qué devolver lo hasta ahora cobrado? ¿Cómo podrían demostrar que trabajo allí si no llevo ni uniforme ni nada ni me han pillado "trabajando"?