Appleby kasteel, met uitzicht op de stad van Appleby-in-Westmorland en de rivier Eden, werd opgericht door Ranulf le Meschin aan het begin van de 12e eeuw. In ongeveer een vierkant steen houden is toegevoegd, bekend als Caesars toren, die nu een van de best bewaarde voorbeelden van zijn soort is, zijn beetje veranderd in 800 jaar 1170. Het kasteel was in handen van de Royal toen de Schotse koning, Willem de Leeuw, de Eden Valley in 1174 binnengevallen. De constable van het kasteel zonder een strijd, waarvoor hij zwaar door koning Henry II beboet was afgestaan. In 1269 het kasteel werd geërfd door Roger de Clifford, en het zou blijven in de eigendom van de familie Clifford voor bijna 400 jaar. In het midden van de 17e eeuw, Lady Anne Clifford maakte het kasteel haar huis en ze was verantwoordelijk voor de restauratie van het kasteel en voor de bouw van de stallen, het gebouw dat bekend staat als 'Lady Anne's Bee House', en de alms huizen zowel in de stad en in het kasteelterrein. Op haar dood het kasteel aan de Earls doorgegeven van Thanet die verantwoordelijk waren voor het omzetten van het blok hall in de klassieke herenhuis dat op het andere uiteinde van de bailey van de Norman houden staat. Veel van de steen voor dit gebouw kwam door de nabijgelegen kastelen van Brougham en Brough af te breken.