Castelul Southsea a fost construit in 1544 pe malul marii, la capatul sudic al Portsea Island, intrarea dinspre est spre Solent si intrarea in portul Portsmouth.

In martie 1625 un incendiu a provocat daune importante fortificatiilor. Au trecut zece ani pana cand daunele sa fie reparate, insa in 1640 un alt incendiu a distrus castelul.

In timpul Razboiului Civil Englez castelul a fost ocupat de catre fortele regaliste sub comanda unui anume capitan Challoner. Castelul a fost capturat in septembrie 1642 de fortele parlamentare. In timp ce garnizoana regalista din castel numara o duzina de oameni, fortele parlamentare, care au atacat castelul au fost formate din 400 de infanteristi sprijiniti de cavalerie. Echipati cu scari, parlamentarii au atacat fortul pe timp de noapte si, desi observati fiind si atacati la randul lor de catre garnizoana castelului, au reusit sa se apropie de partea dinspre mare a castelului. In acelasi timp, un un alt grup s-a apropiat de poarta principala si a cerut predarea. Capitanul Challoner, fiind in acel moment oarecum in stare de ebrietate, le-a cerut sa vina inapoi dimineata. Raspunsul fortelor parlamentare a fost escaladarea zidurilor si cucerirea castelului. O garnizoana parlamentara importanta a fost apoi instalata in castel pentru a-l pazi.

In 1960 Consiliul orasului a preluat controlul castelului, iar in 1967 a fost deschis ca muzeu.

In 1975 castelul a fost vizitat de 99,704 de turisti. In prezent, castelul este exploatat ca punct turistic. Castelul poate fi folosit ca si locatie pentru diverse evenimente: nunti sau alt gen de perecere. Zona de langa castel, cunoscuta sub numele de Domeniul Castelulului formeaza un amfiteatru natural si este utilizata pentru diverse evenimente publice, inclusiv targuri, concerte si festivaluri de muzica.

Printre alte exponate castelul adaposteste o colectie de tunuri. Doua dintre acestea sunt in afara castelului, un 68-pounder si un RML 9 inch 12 ton. Colectia castelului include, printre altele, un tun 24-pounder de pe HMS Royal George, un RML 9 pounder 8 CWT si doua Witworth 3 pounder ghintuite hexagonal, cu inchizator cu culata, datand din 1876.