L'histoire de Horsarrieu se perd dans la nuit des temps et on n'en connaît pas exactement le commencement. La commune a connu au cours des siècles les diverses invasions, guerres et tourments de l'Histoire. Au Moyen Âge, dans les Landes de Gascogne et en Chalosse, la nécessité pour les habitants des campagnes de se défendre dans un pays devenu le théâtre de guerres continuelles motiva l'édification de constructions militaires sur les fleuves et au sommet des collines. Les bastides de forme linéaires, carrées, ou rectangulaires, qui furent édifiées dans ces contrées par les officiers des rois d'Angleterre présentent les mêmes caractéristiques que celles construites par l'autorité française. Elles furent construites à partir de rien sur un plan préconçu généralement uniforme et dans la période d'une centaine d'années (1250-1350). Aliénor duchesse d'Aquitaine épouse Henri Plantagenet, roi d'Angleterre  en 1154. Elle apporte en dot l'Aquitaine et le Poitou.  D'après une légende locale, il y aurait une tête d'aigle en or cachée dans un des passages souterrains de la bastide aujourd'hui détruite.
Horsarrieu fut construit comme beaucoup d'autres bastides sur un promontoire (tuc en gascon), en ligne droite, avec une seule rue, avec une enceinte munie pour tout rempart d'une palissade pour protéger les jardins se trouvant derrière les maisons longeant la rue.

A l'entrée de la rue principale du village la maison "Péhosse" (le pied du fossé) et la mare qui existait encore il y a quelques années rappelle probablement le pont-levis qui se trouvait là. Mais le nom peut venir aussi du chemin de Kiat qui descend depuis cette maison en pente raide. A l'autre bout du bourg, au sommet de la côte du "Rémi"(rue Saint Blaise), la maison "Pourtaou" semble indiquer le portail qui en gardait l'entrée.

Pendant l'occupation anglaise, une quarantaine de bastides ont été construites dans les Landes avec l'agrément du roi d'Angleterre, par exemple Pimbo, Cazères et Geaune. Nous pouvons penser que c'est à cette époque, et avec l'agrément du roi d'Angleterre, que furent construits le château et le bourg de Horsarrieu.

Le château féodal n'est habité qu'au gré des déplacements de ses seigneurs, le premier connu étant Arnaud-Guilhem de Viella, en date de 1493.