En plena Plaza de Paja, en el nº 4, en el Barrio de la Latina, podemos contemplar una hermosa casa señorial del siglo XV que ha tenido numerosos usos a lo largo de la historia, objeto de diferentes remodelaciones que han ido transformando sustancialmente su trazado original. Actualmente es la sede del Centro de Educación Secundaria Santa Bárbara.

Se trata de la Casa de los Vargas, a quien se debe su construcción, un linaje de los más influyentes del Madrid antiguo, que poseían otros inmuebles en la capital, como la Casa de Iván de Vargas, el Pabellón de caza de la Casa de Campo, y la Casa Solariega de la Plaza de San Andrés.

La bellísima vista de José María Avrial 1840, del Museo de Historia de Madrid, nos muestra la Costanilla de San Andrés y el palacio tal como era en el siglo XIX.

Según el periodista e historiador Montoliú, el palacio se erigió a fines del XV, a instancias de Francisco de Vargas y Medina, consejero de los RR.CC y del emperador Carlos V.​ Se levantó sobre un solar que parcialmente estuvo ocupado por la casa de Ruy González de Clavijo, embajador del rey Enrique III de Castilla. Había más palacios en la zona, el de los Lasso de Castilla, la Casa de la Vega, según la leyenda, La reina Isabel la Católica se alojaba allí durante sus estancias en Madrid. ​

Localización del Palacio de los Vargas en el plano de Texeira 1656.

En los terrenos colindantes al palacio, Francisco de Vargas hizo construir una capilla en 1520 para albergar los restos mortales de San Isidro, de tal manera que esta adosada a la residencia. Con el tiempo será conocida como la Capilla del Obispo, en referencia a Gutiérre de Vargas y Carvajal, hijo de aquel y obispo de Plasencia entre 1524 a 1559.

Cuando Vargas apoyó al rey Carlos I durante la Guerra de Comunidades, 1520-1522, el palacio fue saqueado. En 1541 la casa sufrió un incendio, cuando en ella residió el cardenal García Loaysa y Girón, presidente del Consejo de Indias. Dicen que el religioso se salvo saltando por las ventanas.

En 1609 nació en ella, el VIII Condestable de Castillo, don Bernardino Fernández de Velasco. ​ En el siglo XIX dejo de ser palacio, y en 1870 el arquitecto José Asensio Perdiguer acondicionó sus plantas inferiores para instalar el Teatro y Café España donde según Gómez de la Serna, se daban » espectáculos de a real la pieza». Se inauguró en 1874 y dejó de funcionar poco antes de finalizar el XIX a causa de un incendio

Los pisos superiores albergaron las oficinas dela Caja de Imposiciones, conocida popularmente como la Caja de los Pobres, donde en la década de 1870, se produjo el primer fraude piramidal de la historia, el «Gran Camelo» lo llamaron, en manos de Baldomera Larra, hija del insigne escritor y periodista Mariano José de Larra. También estuvo en el siglo XIX estuvo la Imprenta de Enrique Rubiños.

Y seguimos en el siglo XX, cuando en 1921 se convierte el palacio en sede del Círculo Católico Obrero de San José y allí permaneció hasta 1976. El proyecto fue realizado por el arquitecto Emilio Antón, quien adoptó una solución historicista, a modo de prolongación de la capilla del Obispo, con la que el edificio forma ángulo.

En su origen el palacio tenía planta cuadrangular, disponía de amplio patio interior de dos alturas, porticado en sus dos plantas, como otros palacios renacentistas de Madrid, como la Casa de don Álvaro de Luján en la Plaza de la Villa, la Casa de Los Vargas, actual Museo de San Isidro.

En el primer tercio del XX se le hizo una fachada neorrenacentista, con los mismos materiales de fábrica que la Capilla del Obispo, piedra de granito, y también comparte algunos de sus elementos como la galería de ventanales de la parte superior, a base de once arcos rebajados, enmarcados cada uno por una doble moldura y con relieves florales.