O οικισμός του Πύργου είναι άρρηκτα συνυφασμένος με το φυσικό του περιβάλλον και τις γεωμορφολογικές συνθήκες αυτού.
Χτισμένος στους πρόποδες του Προφήτη Ηλία, του πιο ψηλού σημείου του νησιού, αφομοιώνεται πλήρως από το έντονο ανάγλυφο του εδάφους, επιτυγχάνωντας, έτσι, την διατήρηση της οικιστικής του ενότητας. Αυτό διαφαίνεται λεπτομερέστερα στο σκίτσο της γενικής τομής του οικισμού, όπου η έντονη κλίση του εδάφους δεν φαίνεται να κατακερματίζει τον οικισμό σε επίπεδα.
Αναπόσπαστο κομμάτι του φυσικού περιβάλλοντος, αποτελούν οι καλλιέργειες (αμπέλια, ντομάτες κ.α). Αυτές συμπυκνώνουν όλο το ‘’πράσινο’’ του οικισμού, το οποίο εντοπίζεται στην περίμετρο του οικισμού. Έτσι,στον πυρήνα, το ‘’πράσινο’’ είναι πολύ περιορισμένο, λόγω της πυκνής οικιστικής διάρθρωσης.
Η θάλασσα βρίσκεται μακριά από τον οικισμό. Ωστόσο, η γεωγραφική θέση αυτού σε μεγάλο υψόμετρο, καθιστά τον θαλάσσιο ορίζοντα ορατό από σχεδόν κάθε σημείο – με εξαίρεση την νότια πλεύρα - εκεί η θέα διακόπτεται από τον ορεινό όγκο του Προφήτη Ηλία.