Una pregunta (y es en una buena en serio), porque no le pusiste Windows al server si estas mas familiarizado?

Este virtualbox lo tenes en tu PC o en el server?

Con ese paquete puede que te vaya mejor.

Otra cosa, virtualbox no es santo de mi devocion porque la viaja. Proba con VMware Player, que es gratis, y ahi metes la VM con Linux, instalas el paquete open-vm-tools que son las vmware tools, y por experiencia te digo, es mas estable que Virtualbox.