Állítólag egy vödörnyi gyémánttal fizette ki I. Zogu, Albánia ex-királya és magyar felesége, Apponyi Geraldine New York egyik legszebb palotájának árát. A házaspár sohasem tudott beköltözni tulajdonába, mert a vandálok az ellopott Albán Nemzeti Bank kincsei után kutatva lebontották a kastélyt.

Budapest ostromakor innen irányították a város védelmét a német-magyar parancsnokságok. Kádárnak külön lakosztályt is kialakítottak a gigantikus méretű objektumban.