Broughty Castle este un castel istoric a carui constructie s-a incheiat in jurul anului 1495, desi locul a fost fortificat si in 1454, cand George Douglas, al 4-lea conte de Angus, a primit permisiunea de a construi aici. Fiul sau, Archibald Douglas, a fost obligat sa cedeze castelul coroanei. Cladirea cu patru etaje a turnului principal, care formeaza centrul castelului, a fost construit de Andrew, al doilea lord Gray, caruia i-a fost acordat castelul in 1490.

Pozitia in sine a vechiului castel este avantajoasa pentru razboiul modern, deoarece curentii raului fac imposibil bombardamentul. La scurt timp dupa luarea in posesie, garnizoana engleza a fortificat in continuare castelul prin construirea unui sant pe partea dinspre uscat a promontoriului. Garnizoana a fost condusa de Sir Andrew Dudley, fratele ducelui de Northumberland, care spera sa faca cunoscuta Biblia lui Tyndale in Dundee.

In 1846 castelul a fost cumparat de Edinburgh si Northern Railway Company, in scopul de a construi un port adiacent pentru feribotul feroviar. In 1855 castelul a fost achizitionat de Oficiul pentru Razboi, cu intentia de a-l folosi pentru a apara portul impotriva Rusiei. In 1860 temerile reinnoite ale unei invazii franceze a determinat Oficiul pentru Razboi sa reconstruiasca si sa fortifice castelul, acest lucru fiind facut in conformitate cu planurile lui Robert Anderson Rowand.

Intre 1886 - 1887 a fost construit un hangar pentru adapostirea submarinelor care puneau mine in estuarul Tay pentru a perturba transportul maritim inamic. Castelul a ramas in folosinta militara pana in 1932, si din nou intre 1939 si 1949. Ultima modificare de domeniul apararii a fost facuta in timpul celui de-al Doilea Razboi Mondial cand un post de aparare a fost construit in partea de sus a turnului principal.

In 1969 castelul a fost deschis ca muzeu sub egida consiliului orasului Dundee.