Gorō est né dans une riche famille japonaise des années 1930. Il se voit déchiré entre deux femmes, Yayoi qu’il a aimée autrefois, et Fukiko, sa femme actuelle avec laquelle il est marié depuis un an. Il ne peut oublier Yayoi ni l’abandonner, car il se sent toujours pour elle de tendres sentiments et il délaisse son épouse.

Dans les bas-quartiers, Matajuro, ancien samouraï sans le sou, vit sur le maigre salaire de sa femme dévouée qui confectionne des petits ballons de papier, tandis que Shinza le barbier organise illégalement des jeux d'argent et s'attire les foudres d'un gang local.

Chine, VIIIe siècle. L’Empereur Huan Tsung est inconsolable depuis la mort de l’Impératrice, délaissant les charges de l’État. Seule la musique lui apporte encore quelque joie. Un jour, on lui présente une jeune fille d’origine modeste qui ressemble à sa défunte épouse. D’abord réticent, l’Empereur est rapidement charmé par sa beauté et sa sincérité…