Tusker y Lucy Smalley decidieron permanecer en la India. Ante la opción de volver a "casa" tras el retiro de Tusker, antiguo coronel del ejército británico, optaron por quedarse en la pequeña ciudad de Pankot, con sus habitantes excéntricos y costumbres arcaicas, resquicio de los gloriosos días del imperio. Sólo la tiranía de la casera, la capitalista Mrs. Bhoolabhoy, amenaza con acabar con la placidez que se respira en la casa de los Smalley.
Los rezagados es un retrato único y absorbente del final del imperio y del ocaso de un idilio de más de 40 años.