¿Cómo se puede crear un antivirus?

Voy a intentar responder a tus preguntas:
¿Cómo se puede crear tu propio antivirus?
Para crear tu propio antivirus necesitas bastantes conocimientos de programación y, sobre todo, saber cómo funciona el malware.
La mayoría de los antivirus se basan en unas "bases de datos" de códigos maliciosos; cuando el antivirus detecta ese código en un archivo, lo borra o lo pone en cuarentena. Tu antivirus debería tener una base de datos suficientemente grande como para detectar las principales amenazas.
También usan detección heurística, que es analizar el comportamiento de los archivos para detectar si es extraño; con esto trata de prevenir los virus (y otro tipo de programas) que no están en esa "base de datos". Sin un conocimiento del comportamiento de los virus y/o programas maliciosos, difícilmente se podrá crear un buen motor de heurística.
Normalmente, el antivirus debe funcionar en "modo kernel" para tener acceso a todas las peticiones que se realicen en el sistema. Aquí debes saber cómo optimizar el antivirus para que no consuma muchos recursos, porque de lo contrario corres el riesgo de "tostar" el sistema (esto es una lastra de muchos antivirus).
Existen algunos ejemplos como Clamwin, que es opensource. Aunque no aún no tiene una protección residente (análisis en tiempo real), sí que te podría servir para saber cómo funciona e incluso contribuir en el proyecto.
¿Puede ser un proyecto personal o es empresarial?
Yo lo enfocaría a un proyecto empresarial; creo que para una sola persona es demasiado trabajo, aunque no es, ni mucho menos, una idea imposible de realizar.
¡Espero que todo este rollo te haya servido de algo!