Conacul Selly dateaza de la 1300, prima mentiune cu privire la existenta sa, intr-un act public, datand din 1327 – casa Bournbrook , locuinta colectorilor de impozite locale, familia Jouette.

Cladirea fost construita pe un cadru puternic de grinzi de stejar asigurate cu cuie si scoabe metalice acoperite cu un amestec de lemn, pamant, balegar si paie.

La inceputul secolului XX, conacul a fost impartit in trei case separate, cunoscute sub numele de Rookery Cottages, si a cazut in ruina. In 1907, Bournville, producatorul local de ciocolata si filantropul George Cadbury, le-a salvat de la demolare. Acestia l-au angajat pe arhitectul William Alexander Harvey pentru a supraveghea demontarea si mutarea caselor la Bournville Green. la o mila departare. Fiecare grinda a fost marcata atent si au fost desenate planuri precise pentru a avea siguranta reasamblarii corecte a cladirilor. Finalizat in 1916, la un cost de peste 6000 de lire sterline - echivalentul a 250.000 £ azi - Selly Manor a fost deschis ca muzeu in anul urmator.