Seleccionar datos de origen mediante macro.

Antes de todo indicar que no soy un experto en Visual Basic, pero tengo conocimientos de básicos de programación.
Trataré de explicar mi duda de forma más entendible posible, aunque es un poco difícil sin imágenes.
Necesitaba realizar un gráfico de dispersión utilizando datos de una tabla dinámica, pero antes necesitaba depurar esos datos, dado que no eran exactamente los necesitados. De modo que en las columnas adyacentes realice una serie de operaciones con funciones IF y OR que me dieran los datos depurados. Estas dan un valor numérico o una celda vacía ("") en función de unos parámetros establecidos.
El caso es que creía que así, metiendo datos teóricamente vacíos en la gráfica, ésta no los iba a tener en cuenta. Pero a la vista de mis resultados considera esas celdas "vacías" como valores 0, arruinando así mi gráfico. :(
Abordando ya el quid de la cuestión, me gustaría saber de que forma puedo implementar una macro que barra todos las celdas de una columna pero sólo seleccione aquellas con valor numérico.
Algo así como:
Sheets("Gráfica seguimiento TAGs").Select
    ActiveSheet.ChartObjects("Gráfico 1").Activate
    ActiveChart.ChartArea.Select
    ActiveChart.SeriesCollection(1).XValues = "=Tablas! LAS CELDAS CON VALOR NUMÉRICO DE UNA COLUMNA CONCRETA"
Hay que tener en cuenta que la gráfica y los datos se encuentran en diferentes sheets.
Es muy fácil hacerlo manualmente pero es una gráfica que necesita mi jefe y no es nada diestro con los ordenadores, y me ha caído a mí el marrón porque una vez estudié programación en mi carrera años atrás.
Muchas gracias.