¿La "palabra" de un agente es prueba suficiente para imponer una sanción de tráfico?

Me han notificado una sanción de tráfico por hablar por el móvil mientras conducía mi furgoneta de trabajo sin aportar otra prueba que las anotaciones del agente de día, hora y lugar de la infracción en el boletín de denuncia. La sanción, aparte del pago de una cantidad de dinero, supone igualmente la retirada de tres puntos del permiso de conducir. Cuando he ido a pedir una explicación más detallada a la Jefatura de Tráfico y he solicitado alguna prueba fotográfica de dicha infracción me han respondido que no hay tal prueba y que, en todo caso, la "palabra" del agente es prueba más que suficiente con lo que me desaconsejaron incluso presentar recurso ya que mis posibilidades de ganarlo eran nulas. Creo que la respuesta es inaceptable ya que significaría que, al menos bajo un punto de vista lógico, nos hallaríamos ante una situación de abuso de autoridad en la que cualquier ciudadano puede ser sancionado arbitrariamente. Sin embargo puede que legalmente sea como me comunicaron en Tráfico. Esa es la respuesta que me gustaría obtener: si es legal o no aceptar el simple boletín de denuncia como única prueba documental de la infracción denunciada.