Un 25 de enero de 1586 se funda en la Calle Alcalá el convento de los Carmelitas Descalzos o Convento de San Hermenegildo. El primitivo convento de san Hermenegildo fue mandado  construir por orden de Fray Nicolás de Jesús y María, con el visto bueno del cardenal Gaspar de Quiroga y Vela. El edificio fue concluido en 1605, para posteriormente ser demolido en el siglo XVIII.

En 1730 se encargó a Pedro de Ribera la construcción de la iglesia actual con el convento de carmelitas anexo. Es un monumento de grandes proporciones con fachada muy ornamentada, nave de cañón y cúpula, acabándose las obras en 1748 por José de Arredondo y Fausto Manso.

Por otra parte, la parroquia de San José, había sido fundada en 1745 por Bernardino Fernández de Velasco, XI duque de Frías. Primero, esta iglesia estuvo en el palacio del duque de Frías, hasta que durante la dominación francesa se trasladó a la iglesia de las monjas de la calle Góngora y más tarde al Hospital de los Flamencos, situándose finalmente en la iglesia del convento de San Hermenegildo, a raíz del abandono del mismo tras la desamortización de Mendizábal.

El edificio del convento fue demolido para construir en su lugar el Teatro Apolo y más tarde el edificio del Banco de Vizcaya, que actualmente pertenece al  Ayuntamiento de Madrid. En 1912 el arquitecto Juan Moya e Idígoras, amplió el limafronte hacia los lados, y la altura de la Iglesia, distorsionando la composición de la fachada principal que quedó integrada en altura con las manzanas adyacentes. Lope de Vega ofició su primera misa en la Iglesia de San Hermenegildo