Gljúfrasteinn var reistur árið 1945 og arkitekt hússins var Ágúst Pálsson. Ósk Halldórs Laxness var að húsið yrði sveitalegt en samt nútímalegt og laust við allt tildur. Bílskúr, þar sem nú er móttökuhús safnsins, var byggður við húsið og þótti mikil nýlunda í Mosfellssveit á sinni tíð. Ekki síður þótti það sérstakt þegar sundlaug var byggð í garðinum um 1960.
Oft var gestkvæmt á Gljúfrasteini. Þangað komu iðulega erlendir þjóðhöfðingjar á leið sinni til Þingvalla og á fimmta áratugnum voru haldnir tónleikar í stofunni þar sem heimsþekktir listamenn léku fyrir boðsgesti.
Mikill fjöldi listaverka setur sterkan svip á heimilið, meðal annars eftir Svavar Guðnason, Nínu Tryggvadóttur, Jóhannes Kjarval og danska málarann Asger Jorn. Einnig gefur þar að líta útsaumsmyndir eftir Auði Laxness en hún var annáluð hannyrðakona. Húsgögn og innanstokksmunir eru þeir sömu og í tíð Halldórs og Auðar.