Se localiza al noreste de Alcorcón en el barrio de San José de Valderas. Hacia 1916, José Sanchiz de Quesada, marqués del Vasto y conocido en Alcorcón como Marqués de Valderas, compró unas fincas y mandó construir unos «castillos» o palacios para vivir con su familia. Los edificios fueron encargados al arquitecto Luis Sainz de los Terreros. El palacio principal, de estilo sajón, se inauguró en 1917. Al lado, construyó otros dos más pequeños, uno pequeño dedicado a capilla particular bajo la advocación de San José y otro destinado a la servidumbre.
Por estos castillos pasaron importantes personalidades de principios del siglo XX, como el rey Alfonso XIII, el dictador Primo de Rivera o el infante Carlos de Borbón, abuelo materno del rey Juan Carlos I.
Con el estallido de la Guerra Civil en 1936, los castillos fueron abandonados por los marqueses de Valderas. Además, a partir del 4 de noviembre de 1936 se estableció en el castillo principal un cuartel general de primera línea de la zona nacional, debido a su proximidad al campamento de Carabanchel.
Acabada la Guerra Civil, los castillos quedaron abandonados y, pese a su imponente presencia, cayeron en la ruina. En los años 50 los Castillos pasan a denominarse Castillos de San José de Valderas. Dos años después, en 1952, fallece José Sanchiz de Quesada. Con su muerte, la finca se vendió a una constructora, y un año después, el 1 de abril de 1958, se puso la primera piedra del barrio de San José de Valderas. Entonces ya solo quedaban dos palacios ya que, el tercero quedó destrozado tras un incendio.
Debido al estado de los castillos, el Ayuntamiento de Alcorcón comenzó el proceso de adquisición de los castillos en 1985 pero no fue oficial hasta 1988, cuando el VI marqués de Valderas, Hipólito Sanchiz y Núñez-Robres, donó los castillos al Ayuntamiento. En enero de 1991, el Ayuntamiento encargó un proyecto de reforma y restauración a los arquitectos Enrique Fombella y Eduardo Paniagua. En la reforma de estos edificios participaron además dos escuelas Taller del Ayuntamiento de Alcorcón. Además, se derrumbó definitivamente el tercer castillo dado su estado de deterioro y escaso valor arquitectónico.
Desde 1997, el palacio principal alberga el Museo de Arte en Vidrio de Alcorcón. El edificio de servicio, mucho más pequeño, está dedicado a cursos, talleres, seminarios y actividades culturales, a través de la Concejalía de Cultura y Participación.
