¿Debo preocuparme si no me han desaparecido los ganglios de mi cabeza?

Desde hace algunos meses detecté que tenía ganglios en el cuello y en la cabeza, fui al médico y me dijo que era una infección viral y me mandó unas medicinas, los ganglios del cuello han ido desapareciendo, pero en la cabeza no, y hasta creo que crecieron un poco y ya están en un punto fijo donde no crecen más pero permanecen en este tamaño, se que debo ir al medico, pero me gustaría que por favor me dijeras si debo preocuparme y que me explicaras bien si los ganglios que se inflaman en la cabeza representan algo en especial, la verdad estoy bastante preocupado, pues he escuchado que esto puede ser en algunos casos tumores o cáncer, la verdad estoy bastante preocupado y me gustaría que me respondieras lo más completo posible por favor, por si es de importancia, mi edad es 20 años y soy una persona que hace ejercicio constantemente y se alimenta bien, por lo cual me parece raro el crecimiento de dichos ganglios.