En Madrid se inició la educación de los sordomudos en el año 1795 en las Escuelas pías de San Fernando, en Lavapiés. El padre escolapio José Fernández Navarrete, fue el encargado por Carlos IV para dirigir el centro. Parece ser que este religioso había viajado a Roma para formarse. Dicha institución no duró mucho tiempo, ya que cerró en 1800.

El Real Colegio de Sordomudos de Madrid fue inaugurado en enero de 1805 después de haber coronado con éxito la iniciativa de la Real Sociedad Económica Matritense iniciada en 1802:  EN 1803 una Real Orden autoriza su establecimiento y en 1804 se aprueba su primer Reglamento.

El ideal universal educativo del XVIII no podía olvidar a las personas con dependencias físicas, aunque los ciegos tuvieron que esperar al triunfo del liberalismo, y la abolición de gremios de ciegos, que eran un obstáculo, pues los habían dedicado a tareas musicales y difusión de periódicos. Ahora se busca ofrecerles una educación total y especial para integrarlos.

Los sordos y sordomudos no estaban organizados, era más fácil empezar de cero, pero hay escaso rastro documental hasta el siglo XVIII. No podemos saber su número total. Los datos oficiales en 1860 hablan de unos 10.905 en toda España.

En Madrid había 199, más hombres que mujeres. El optimismo ilustrado consideraba que con la educación específica a sordos y sordomudos, alcanzarían la felicidad.  Procedentes de todas las capas sociales, se decidió acoger a todos, unos contribuirían otros no. En el Colegio había internos gratuitos, internos pensionistas, medio pensionistas, externos retribuyentes, externos gratuitos. Pagarían 100 reales mensuales. Si hubo discriminación en la enseñanza de las alumnas. Aislándolas de los niños, con especial tutela sobre ellas, una educación que incluía las consabidas labores de hilado, punto, costura, adorno, arte de cortar, de guisar.   Hasta 1835 no se materializa esta práctica.

El origen de la enseñanza de sordomudos se encontraría en la obra de Ponce de León a principios del XVI, continuada por Juan Pablo Bonet, con un libro de 1620, “Reducción de las letras y arte para enseñar a hablar a los mudos”. En 1794, un jesuita Lorenzo Hervás saco a la luz Escuela española de sordomudos para enseñarles a escribir y hablar en el idioma español.  La obra del abate francés, Sicard es traducida al castellano en 1807 por José Miguel de Alea, que llego a dirigir el Colegio.

Su primer asiento fue la calle de las Rejas, en 1807 se traslada a la Plaza de las Descalzas.  La junta directiva creada desde la Sociedad Económica Matritense lo tutela, el primer director fue el militar Juan de Dios Loftus.

La Guerra de la Independencia fue un duro revés, el Colegio cierra, su situación económica es angustiosa. Los alumnos pasan al Hospicio.  Se establece en 1814, entonces en la calle del Turco, actual calle de Marqués de Cubas.  Con el Trienio Liberal pasa a depender de la Dirección General de Estudios, cuando retorna el Absolutismo, la Matritense no puede supervisarla porque cayo en desgracia durante la década ominosa. De los sordomudos se encarga el duque de Híjar.

A finales de los años 90 del siglo XIX, el arquitecto Velázquez Bosco diseña un edificio para Escuela Nacional de Sordomudos y Ciegos en Moncloa, adaptándolo a los cimientos de un centro interrumpido de la Institución Libre de Enseñanza que había comenzado a construir Carlos Velasco en 1883.

Construido en ladrillo visto muy cuidado, con remates de granito y piedra artificial, muestra el profundo dominio de la arquitectura madrileña que poseía Velázquez Bosco, aun con algunos elementos clásicos en las zonas más representativas. Cuando después de la Guerra Civil se convierte en Escuela Superior del Ejército.