Bebyggelsen ligger på ei smal strandflate på sørsiden av den seks-sju km lange fjorden. I omgivelsene rundt reiser det seg mektige fjell, bla Middagstinden og Juldagstinden. Navnet er av gammelnorsk opprinnelse, og ble da benevnt Gryflufjordr. Det er sannsynlig at opprinnelsen til førsteleddet er "rote/grave".
Kanskje har det sammenheng med den spesielle vindsorten "ølningen", et
fallvær som virvler opp snø og hav mens det står på?

Stedet har hatt bosetting siden steinalderen. Det rike fisket i havområdene
utenfor fjorden er den viktigste årsaken til at folk har bosatt seg her gjennom
århundrene. Særlig fikk stedet et oppsving da fisket på Svendsgrunnen ble
organisert med utgangspunkt i Gryllefjord rundt 1920, samtidig som øyværene
rundt mistet sin betydning og aktiviteten ble flyttet til steder som Gryllefjord
og Torsken. Etter krigen ble det etablert fryseri på stedet, som ved siden av
selve fisket har vært en viktig arbeidsplass helt fram til i dag. I tillegg til
fiskemottak finner vi det største filetproduksjonsanlegget for hvitfisk i Troms
nettopp i Gryllefjord.
Gryllefjord er administrasjonssenter i kommunen. Her finner
vi kommuneadministrasjonen, offentlig servicekontor, trygdekontor,
lensmannskontor m.v. Her fins også sykehjem, legekontor, barnehage og barne- og
ungdomsskole med svømmebasseng, samt bibliotek. Andre servicefasiliteter på
stedet: Bank, post, dagligvareforretning med bensinutsalg og medisinutsalg, kafe
og kro.Kapellet i bygda ble bygget i 1902 etter at folketallet hadde gått
kraftig opp på denne tida. Grendehuset brukes til ulike tilstelninger av
bygdelag og idrettslag.