Centro agricolo del Salento meridionale, situato al fondo di una insenatura della costa adriatica, allo sbocco del breve torrente Idro, dal quale ha tratto il nome. L'area oggi occupata è solo una parte di quella che costituiva l'antica città.
Il centro storico, ancora racchiuso da mura turrite, si raggruppa sulla sponda meridionale del porto ed ha strade strette e in pendio.