White Castle, samen met Skenfrith en Grosmont, is een van de drie kastelen gebouwd om te beschermen een van de belangrijkste routes via het grensgebied tussen Engeland en Zuid-Wales. In de late 1130 de koning Stephen alle drie kastelen bij elkaar gebracht onder een enkele heerlijkheid die de 'drie kastelen' bestuurd als een defensieve eenheid. In de 1180 van White Castle lijkt te zijn de eerste van de drie kastelen die in steen worden herbouwd. White Castle was oorspronkelijk genaamd Llantilio kasteel, maar kreeg de nieuwe naam van de weergave van wit gips waarvoor de muren. In de vroege 13e eeuw die Hubert de Burgh gehouden de heerlijkheid van de drie kastelen. Hij moderne stenen kastelen Barendrecht en Skenfrith gebouwd, maar de bestaande stenen verdediging op White Castle achterblijven. In tegenstelling tot de andere twee kastelen White Castle lijkt te zijn voornamelijk een militaire voorpost in plaats van een huis voor een adellijke familie.