Jeannette Walls, chroniqueuse mondaine à New-York, a tout pour réussir et personne ne peut imaginer quelle fut son enfance. Elevée par un père charismatique, inventeur loufoque qui promet à ses enfants de leur construire un château de verre mais qui reste hanté par ses propres démons, et une mère artiste fantasque et irresponsable, elle a dû, depuis son plus jeune âge, prendre en charge ses frères et sœurs pour permettre à sa famille dysfonctionnelle de ne pas se perdre totalement. Sillonnant le pays, poursuivis par les créanciers, et refusant de scolariser leurs enfants, les Walls ont tout de même vécu une vie empreinte de poésie et de rêve, qui a laissé des marques indélébiles mais qui a créé des liens impossibles à renier.

L'étourdie Polly obtient un emploi de secrétaire dans la galerie d'art de Gabrielle. Polly aspire à être photographe professionnelle et idolâtre Gabrielle pour ses capacités artistiques. Lorsque Gabrielle ravive une ancienne relation amoureuse avec la jeune peintre Mary, Polly devient jalouse et découvre que Gabrielle n'est pas celle qu'elle prétend être.

Après la mort supposée de son mari, Adrienne replonge un peu plus profondément dans le passé de celui-ci. Au fur et à mesure de ses investigations, elle en vient à penser avoir été trahie.