Efter bygningen var blevet færdig var det imidlertid ikke en ubetinget succes. Ejeren selv, den stenrige Milà var ikke særligt tilfreds med resultatet og havde måske foretrukket en mere almindelig lejlighed. Også samfundet var efter Gaudí, og gav Casa Milà flere øgenavne. En af de, er det der i dag hænger ved: La Pedrera som er blevet husets officielle navn betyder stenbrud, der blev brugt fordi folk mente, at bygningen var som et kæmpemæssigt stenbrud, hvor stenene var dynget mere eller mindre tilfældigt sammen.
Disse skældsord, der er gået ind i sproget, afspejler den kendsgerning, at modernismen var begyndt at blive upopulær umiddelbart efter 1910. Den stærkt ornamenterede stil, den catalanske modernisme, som var en lokal udgave af Art Nouveau, begyndte at miste populariteten, og nye arkitektoniske tendenser var begyndt at blive populære inden for arkitekturen.
En af disse bevægelser var funktionalismen. Kontrasten mellem funktionalisme og arkitektur af Gaudí er slående. Gaudís ornamenterede arkitektur står i klar kontrast til de rette linjer og vinkler, der bruges i funktionalisternes bygninger.
