Yo uso y recomiendo siempre camtasia studio 7, pero es tu elección.
La primera solución seria intentar reinstalar el programa.
La segunda seria que te instalaras una versión anterior.
Si no quieres una de estas puedes probar a arreglar tu mismo los codecs
Un codec es un codificador y descodificador de video. Es lo que convierte tu video en datos que guardar. Algunas veces el formato, las dimensiones y otras variables no son compatibles con el codec y ocurre eso. Para arreglarlo puedes descargarte un conjunto de codecs.
Suelo recomendar estos: http://k-lite-codec-pack.softonic.com/
Aunque los de Divx también son una solución. Si este pack no sirve y has elegido la tercera opción dímelo y te pasare muchos mas packs de codecs para que pruebes hasta que te deje grabar.
Esto es un ejecutable en el que elijes los codecs a instalar (cuantos mas mejor) y le das a instalar. Después reinicias y ya debería funcionar el camtasia. (No normalmente, solo en casos excepcionales, después de instalar los codecs se necesita reinstalar el camtasia, pero repito, solo en casos excepcionales)