In 1165 the last of Miles of Gloucester's male descendants was killed at nearby Bronllys Castle and Hay-on-Wye Castle passed into the hands of William de Braose, 3rd Lord of Bramber and of New Radnor and Buellt. В 1165 году последний наследник Миля Глостерского был убит в близлежащем замке Бронллис, и замок перешёл в руки Уильяма де Браоза, 3-го лорда Брамбера, вместе с поселениями Реднор и Бильт.
