Obligaciones legales pago comisiones a terceros

Soy autónomo con actividad empresarial y tengo pensado lanzar un servicio para empresas y particulares y estaba pensando en potenciar la venta haciendo acuerdos de colaboración. Digamos que una empresa POR, de un sector diferente al mío vende servicios a una categoría de clientes que me interesan, he pensado en hacer un acuerdo con la empresa POR para pagarle una comisión por cada cliente recomendado por ella que acabe contratándome.
En este caso, supongo que no es complicado: yo les comunico cada mes o cada trimestre los datos y ellos me facturan la comisión con su respectivo IVA.
La duda que tengo es que también valoro la posibilidad de pagar comisión a otras personas (por ejemplo gente que quiera completar sus ingresos) para que me consigan clientes. Si no quiero darme de alta como empleador en la Seguridad Social, ¿supongo qué tendría que trabajar unicamente con autónomos? ¿O puedo hacer que me facturen particulares y les hago una retención de IRPF aunque yo no este registrado como empleador?
No estamos hablando de importes muy grandes, pero quiero hacer las cosas bien.