O Castelo de Algoso, mandado construir por Mendo Rufino no século XII, no reinado de D. Sancho I, é o expoente máximo do poder local e aí residia o representante do rei que arrecadava os direitos reais em terra de Miranda e Penas Róias. Algum tempo depois, D. Sancho II concedeu-o à Ordem do Hospital. D. Dinis mandou efectuar obras de melhoria no castelo, sujeito a frequentes vicissitudes da guerra, pela sua situação geográfica. Em 1710, por ocasião da guerra dos Setenta Anos, pouco depois da queda de Miranda, fizeram os espanhóis diversas surtidas em terras de Vimioso, atacando, entre outras, a antiga vila de Algoso, que contudo conseguiu manter a sua praça.

O castelo ocupa uma posição privilegiada, num promontório rochoso e alcantilado, a uma altitude de 681 metros, na extremidade formada pelo rio Angueira e pelo rio Maçãs.

(http://www.gt.estt.ipt.pt/techne%20on-line/castelosportugal/ALGOSO.HTM)