Oprindelig var de Sorte hus røde. De rummer i dag en udstilling om Aggers historie og kystsikringen. Der blev anlagt en skinnevej langs med kysten og ud på høfderne. Denne benyttede Vandbygningsvæsenets tog til at køre materiale ud til byggeriet. Ude ved høfderne arbejdedes der med kraner for at løfte elementerne på plads.

Til byggearbejdet var det både lokale, samt vesterhavsbørster. De lokale var folk der havde brug for at supplere indtægten fra fiskeriet, og vesterhavsbørsterne der rejste rundt og arbejdede der hvor der blev lavet kystsikring. Børn var også beskæftiget ved de første høfdebyggerier. Deres opgave var at slå søm i de pæle, som skulle nedrammes i havbunden. Disse søm skulle sidde så tæt, hvorpå de forhindrede angreb af pæleorm.