¿Cómo empezar?

Pues para el nivel de programación que quieres yo te aconsejo que utilices C++.
Reconozco que es más difícil que Visual Basic, pero tendrás más velocidad y más control sobre todos los aspectos de programación del hardware.

Como estas, en mi caso te recomiendo visual foxpro
que no quiere decir que lo puedas hacer con c++ o visual basic, todo depende de la experiencia que llevas desarrollando con la herramienta que te has perfeccionado, ya que no puedes ser un experto en todas.
Existen librerías ocx para comunicarte con los puertos de un pc, que puedes utilizar con estos lenguajes de programación y funcionan de maravilla solo combian el nombre de las instrucciones nativas de cada lenguaje, pero todas tienen el mismo fin.
Que estés bien chau .

Como programador titulado y super audodidacta porque en la escuela no me enseñaron nada te digo que me diferencies entre controlar un hardware o puerto con un programa o en usar un programa que controle esos pueros.
La diferencia es que el 1º necesitas los drivers del hardware y usar las bibliotecas de las DLL y ya está, el segundo imprila la creación de los drivers y para ello has de hacerlo en lenguajes de baja generación cercanos a lenguajes maquina y eso a estas alturas es una locura, solo las empresas con años de experiencias y equipos de programadores lo hacen posible.

La verdad cualquiera de los lenguajes de programación que utilices es bueno por que al utilizar dispositivos externes tienes que utilizar el elnguaje ensamblador o lenguaje máquina que es muy pero muy bueno, para mi los mejores en cuestión de programación orientada a objetos(visuales) son el visual c++ y delphi
Y en modo texto es el c++ y el pascal,
Espero que te sirva y si quieres manuales más referentes de dispositios externos checate la de comunidadelectronicos
Ahí encuentras uy buenos manuales
Bye suerte

Dada la flexibilidad y potencia para manejo de Hardware a bajo nivel te recomiendo el C++.
Suerte !
Rogers R.