Problemas con tarjeta

Como dices, las cosas raras son cosas raras y a veces puedes ser complicadas de solucionar. Las soluciones que te voy a dar llevan tiempo y, para colmo, tampoco dan garantía de solución, pero es la única forma que conozco de ir "acotando" el problema buscando el "culpable" (suponiendo de entrada que no hay presecia de virus, claro)
1er sospechoso: Windows y sus controladores. Instala un Windows LIMPIO y SIN la tarjeta capturadora. Una vez instaladado Windows desde cero instala la tarjeta y los controladores siguiendo AL PIÉ DE LA LETRA las indicaciones del fabricante. Asegúrate, como bien dices, de tener la opción DMA activada.
2º sospechoso. Placa base. Si todo está como debe a nivel de software, entonces deberá ser algo de hardware. Prueba a cambiar la tarjeta de puerto PCI: Ya sé que parece una gilipollez, pero a veces, cosas de brujería, las tarjetas PCI funcionan bien en una ranura y no en otra.
3er sospechoso: Temperatura de la tarjeta. En relación con la solución anterior, a veces el problema es, simplemente, que se genera demasiado calor dentro de la torre y entonces todo "parece" funcionar, pero aparecen cosas raras. Prueba a funcionar con la torre abierta para descartar esta fuente del problema.
Si todo eso te falla, puede que quede algo que no se me haya ocurrido, pero yo juraría que la tarjeta ha pasado a mejor barrio. Puedes comprobarlo definitivamente instalando la tarjeta en otro equipo y viendo si se presentan los mismos problemas

Joder que raro lo que te pasa.
Entiendo cuando dices board, que te refieres a la placa base. Realmente no debería de hacer cosas raras, más bien parece un polstergeist que otra cosa.
Bien lo que has hecho es correcto, activa solo un dma en un dispositivo no en todos.
Baraja la posibilidad de instalar de nuevo el Sistema operativo que tengas (si has cambiado de s.o. reinstala el anterior) y comienza desde el principio y desde cero, osea con el s.o. limpio.
Comprueba que no tienes problemas de irq y empieza probando tu tarjeta gráfica, luego la capturadora, capturando y reproduciendo, luego instala el soft de edición, los directX últimos.
Puede que tengas problemas con alguna librería que te está dando la lata.
No se me ocurren más cosas, pero cuando la cosa se pone muy negra del todo, lo mejor es empezar desde cero.
Suerte y saludos desde españa.

Raro, lo de los problemas de distorsión de color podría ser algún tipo de incompatibilidad de señal, cuando creas tu video, asegurate, que sea NTSC americano, ya que muchas tarjetas también vienen para crear NTSC japones, el problema del color y las lineas puede ser por eso (a mi me paso en un trabajo) o incluso algunas por más que uno le ponga NTSC, tiende a converir en PALM (sistema europeo) por eso hasta en el momento de la exportación, hay que asegurarnos que se NTSC americano.
En cuanto a los saltos de tus viejos videos, puede ser problema de codecs, algunos codecs se actualizan aunque se llamen igual, vuelve a renderearlos, quizá así se solucione.
No te aseguro nada pero espero haberte ayudado