De eerste Normandisch kasteel werd gebouwd in Lydford kort na de verovering van 1066; de overblijfselen van de grondwerken kunnen worden gezien aan de zuidzijde van St Petrock kerk. Een nieuwe toren werd gebouwd in 1195, iets ten noorden van het originele kasteel, eventueel voor gebruik als een gevangenis. Ergens in de 13e eeuw die werd het volledig herbouwd. A greppel rond de toren en de bodem opgestapeld tegen de begane grond te vormen een heuvel was gegraven. De top twee verdiepingen werden omgebouwd tot een klein houden, terwijl de begane grond gevuld in. was op hetzelfde moment die het grondwerk bailey in het noordwesten werd gebouwd. Door de vroege 18e eeuw was het kasteel geworden vervallen, maar het werd hersteld, en voor de volgende eeuw diende als gevangenis en gerechtsgebouw, voordat wordt eens te meer verlaten en toegestaan om te vallen in ruïne.