Hasta donde se en la práctica no hay límites, el problema es que podes tener cuellos de botella por saturar el ancho de banda de algún cable y que cada uno agrega un par de ms en el ping. También en caso de un fallo de un cable podes dejar fuera de servicio gran cantidad de clientes, lo ideal es colocar un switch de gran cantidad de puertos en vez de varios de pocos puertos en cascada, además estos equipos suelen tener puertos especiales de alta velocidad para intercomunicar los switch entre si y disminuir latencias.
Saludos.