Data del S. XVI y fue fundado por los Vargas Carvajal, por lo que también se le conoce con este nombre. Puedes observar sus fachadas renacentistas y el escudo de la familia en una de ellas, concedido por Carlos V. Actualmente pertenece a la familia del Ducado de San Carlos y sólo se puede acceder a parte de su interior en eventos.