Un 25 de enero de 1586 se funda en la Calle Alcalá el convento de los Carmelitas Descalzos, conocido como el Convento de San Hermenegildo. Este primitivo convento fue mandado construir por orden de Fray Nicolás de Jesús y María, con el visto bueno del cardenal Gaspar de Quiroga y Vela. El edificio se concluyó en 1605, pero fue demolido en el siglo XVIII.

En 1730, se encargó a Pedro de Ribera la construcción de la iglesia actual junto con el convento de carmelitas anexo. Este monumento de grandes proporciones, con una fachada muy ornamentada, nave de cañón y cúpula, fue terminado en 1748 por José de Arredondo y Fausto Manso.

Por otra parte, la parroquia de San José fue fundada en 1745 por Bernardino Fernández de Velasco, XI duque de Frías. Inicialmente, esta iglesia estuvo en el palacio del duque de Frías, luego se trasladó a la iglesia de las monjas de la calle Góngora durante la dominación francesa, y más tarde al Hospital de los Flamencos. Finalmente, se situó en la iglesia del convento de San Hermenegildo tras el abandono de este último debido a la desamortización de Mendizábal.

El edificio del convento fue demolido para dar paso a la construcción del Teatro Apolo y, más tarde, el edificio del Banco de Vizcaya, que actualmente pertenece al Ayuntamiento de Madrid. En 1912, el arquitecto Juan Moya e Idígoras amplió el limafronte hacia los lados y aumentó la altura de la iglesia, distorsionando la composición de la fachada principal, que quedó integrada en altura con las manzanas adyacentes. Cabe destacar que Lope de Vega ofició su primera misa en la Iglesia de San Hermenegildo