Η Καστάνιτσα αναπτύχθηκε οργανικά, με φρουριακή διάρθρωση των κτισμάτων της, ακολουθώντας την μακρόστενη κορυφογραμμή του λόφου στον οποίο βρίσκεται, δίπλα στις πλαγιές του Πάρνωνα. Αρχικά, το χωριό καταλάμβανε μόνο την περιοχή γύρω από τον Πύργο Καψάμπελη και στην συνέχεια εξαπλώθηκε προς τα νότια. Νεότερο τμήμα του χωριού αποτελεί η γειτονιά του Γαλατά, η οποία βρίσκεται στην απέναντι πλαγιά.