Dos opciones: entra en modo seguro, conecta el dispositivo y desinstala desde el administrador de dispositivos, reinicia e intenta la instalacion de nuevo.
Si eso falla, ve a la carpeta donde estan los drivers para instalar, abre el archivo que tiene terminacion .inf en bloc de notas, checa las secciones que se llaman windows xp, anota los nombres de los archivos que vienen en esas secciones, generalmente terminan con sys, ve a la carpeta windows\drivers y checa si los aechivos que anotaste estan ahi, si notas diferencias de nombres, corrige en el inf, y prueba si funciona. Antes de hacer esto RESPALDA EL INF ORIGINAL, para poder regresar al principio si no funciona.
Otra es probar instalando esta actualizacion:
http://go.microsoft.com/fwlink/?LinkId=71641&/umdf.exe
A mi ma he funcionado en problemas similares de usb pero al conectar reproductores mp3, no estoy seguro que funcione con modems.