Me parece más que es Ansiedad lo que te sucede, pero si consideras que es "terror" o pánico, entonces te sugiero que busques una Terapia Psicológica con enfoque Cognitivo-Conductual para que te ayuden a controlar ese miedo antes de que se convierta en una fobia.
Realmente es muy común que las personas tengan nervios al conducir, sobre todo en las horas de mayor tráfico o en los días en que parece que todos andan más estresados y que conducen como "locos". También es cierto que hay personas que no pueden conducir, porque los nervios o la Ansiedad es insoportable y les bloquea, que de alguna forma fue lo que te sucedió.
No te puedo decir si eres una de esas personas que no pueden conducir, eso es algo que tú tendrás que determinar, pero mientras tanto puedes intentar conducir en situaciones que sean menos estresantes.
Por ejemplo, intenta conducir durante la noche, en días y horas en las que ya no haya tantos vehículos, para que te vayas acostumbrando a tu auto, porque eso también es importante, e intenta seguir la ruta y hacer las maniobras que harías durante el día, de esa forma te habituarás y sabrás que hacer cuando tengas que conducir por ese camino con el tráfico.
Durante un tiempo, es recomendable que te acompañe siempre alguien que te de confianza y seguridad, para que te ayude a controlar los nervios o que maneje si tú ya no puedes o no quieres hacerlo.
O comienza manejando en carretera, en caminos rectos, porque es más fácil ya que tienes que realizar menos maniobras al conducir.
Ten paciencia, en gran medida depende de la práctica, así que intenta hacerlo de forma gradual, poco a poco, hasta que puedas conducir a donde quieras.