Der har boet mennesker i området omkring Agerbæk i mange tusinde år. I nærheden af bækken på Debelvej har man fundet en ege – en udhulet træstamme man brugte til at sejle i i stenalderen.
I 1664 er der i Agerbæk registreret 4 gårde og 2 gadehuse (fattighuse), som var bygget til folk, der ikke var fæstere. De havde ingen jord, og som følge deraf var de meget fattige. I 1668 var der 5 gårde fordelt i området ved bækken omkring kirkestien, så de havde vand til dyrene. Mod nord op mod Nr. Agerbækvej var der opdyrket en stribe agerjord. Det formodes, at det var oplægget til byens navn, ager + bæk. Det meste af egnen lå hen som hede. Hist og her var der nogle buske og små forkrøblede træer, og vejene var bare nogle hjulspor. I 1682 er der 5 gårde i Agerbæk, 3 gårde og et hus i Rodebæk, 6 gårde og 3 huse med jord i Debel, 1 gård i Ålunde.
Jorden tilhørte henholdsvis, Endrupholm, Nørholm, Varde hospital og Ribe Statshospital. I 1800 var en stor del af gårdene købt til selveje. I 1918 var der 7 gårde og 7 huse i Agerbæk. I 1850 var der i Skads herred opdyrket 41 % af jorden, 59 % lå hen som hede og der var 0 % skov.
Omkring år 1900 begynder der at ske noget i Agerbæk. I Sønderbyen bygges en smedeforretning og i 1907 en brugsforening med en vindmølle, så bønderne kunne få deres korn malet. I 1904 var der 34 gårde og 6 huse.
