Palatul guvernului se gaseste in centrul orasului si a servit drept resedinta a guvernatorului insulei in timpul colonistilor englezi. Lucrarile de constructie au debutat la mijlocul secolului XIX, iar primul locatar a fost sir John Bowing, urmat de alti 28 de guvernatori care s-au succedat la conducerea Hong Kong-ului.

De-a lungul timpului, cladirea a beneficiat de numeroase restaurari si extinderi ceea ce a condus la modificarea stilului arhitectural al cladirii. Practic, fiecare nou guvernator a adus modificari cladirii dupa preferintele sale.

In anul 1889, constructiei principale i-a fost adaugata o aripa noua, pe latura estica, destinata festivitatilor sociale, iar cativa ani mai tarziu a fost amenajata o pasarela care facea legatura intre cladirea principala si constructiile anexe. Sala de bal este impresionanta si poate gazdui pana la 300 de persoane. Incepand cu anul 1919, in gradina palatului a fost plantate azalee si diverse specii de arbusti ce confera parcului o nota de rafinament. Incepand cu anul 1968, in parc a fost permis accesul vizitatorilor, iar numarul acestora creste in mod special primavara, odata cu renasterea naturii.