Los jardines del Palacio estaban al cuidado del Guardés, que tenía su residencia en una casa de piedra con planta de cruz de una sola altura construida con los mismos materiales que el Palacio y ubicada en la puerta sur de los jardines. Durante décadas la casa ha sido conocida como la Casa del Guarda.
Durante los años de presencia de la congregación Don Orione la Casa del Guarda se convirtió en lugar de residencia de dos monjas que prestaban sus servicios en el colegio y vivían como eremitas. En esa época el edificio consta de baño, cocina, dos habitaciones y salón con chimenea. Desde 1986 la casa queda sin uso y a pesar de la calidad de los materiales utilizados en su construcción comienza a evidenciar su deterioro. En 2001 se realiza un estudio para su rehabilitación pero finalmente no se lleva a efecto.
Tenemos que esperar hasta 2011 para ver el comienzo de los trabajos de restauración del edificio.
