En Madrid existieron numerosas vaquerias que se mantuvieron hasta bien entrado el siglo XX. La Casa de Vacas del Parque del Retiro, era una especie de «Kiosco de Leche» con vacas incluidas. Ya en la maqueta de León Gil de Palacio de 1830, pueden verse en este terreno unas huertas cercadas con un tapial.

En 1873 Mateo Cabezas y Romeral alquila el espacio e instala una lechería que dispensaba leche de vaca recién ordeñada. El público se sentaba a beberla en un pequeño bar junto a los establos. Estaba al lado de la Fuente de la Salud, famosa por sus aguas, hoy desaparecida.

En 1886, un tornado destrozó el lugar, se rehabilito en 1921 como restaurante «Ideal Retiro» que tenía terrazas y pistas de baile y patinaje.

Tras la Guerra Civil se convirtió en la Sala de Fiestas «Pavillón» que también cerró. El abandono provocó un incendio en 1981 y su destrucción. En 1986 el Ayuntamiento decide reconstruirla tal y como estaba  en la época en que fue restaurante y lo convirtió en Centro Cultural y Sala de Exposiciones con su denominación original: la Casa de Vacas.