O castelo primitivo deverá ter sido construído no século XI, pelos Almoádas, o qual fazia parte de uma linha de defesa da região de Albufeira, que D. Sancho I conquistou em 1189, tendo depois voltado à posse muçulmana.
É no reinado de D. Afonso III, em 1248, que esta fortaleza passa definitivamente para o reino de Portugal. Cerca de 1300, o rei D. Dinis faz a doação do castelo à Ordem de Avis, a qual realizou obras de reconstrução.
A partir do século XVI, a fortaleza perdeu a sua importância estratégica e até o aglomerado populacional acabou por se deslocar das suas imediações. O terramoto de 1755, por sua vez, veio a agravar ainda mais o estado de ruína em que este já se encontrava.
Encontra-se classificado como Imóvel de Interesse Público, e é propriedade do IPPAR, e o que resta do castelo, constituído por parte das muralhas e das paredes de uma capela tem sido alvo de obras de recuperação.
Ponte Antiga de Paderne
Também designada de Ponte Romana, esta deverá ter sido construída para servir o castelo, encontrando-se nas imediações deste, sobre a ribeira de Quarteira. Julga-se que a inscrição sobre o arco central, referindo o ano de 1711, será relativa a obras de remodelação, que veio a receber também recentemente.
A aldeia de Paderne é uma freguesia portuguesa do concelho de Albufeira, com 52,56 km² de área e que em 2011 registava 3.304 habitantes. Encontra-se situada na margem esquerda da ribeira de Algibre ou da Quarteira.
O topónimo "Paderne" deriva do baixo-latim (villa) Paterni, "a quinta de Paterno".
Localizada no Barrocal Algarvio, Paderne é uma das aldeias mais antigas do concelho de Albufeira, caracterízada pelos seus traços rurais e de uma aldeia de interior, com um castelo e diversos pontos paisagísticos, nomeadamente: a fonte, as ribeirs de Algibre e de Quarteira, e diversos açudes.
