Δεν υπάρχει επίσημη πληροφορία για το πως εξελίχθηκε ο οικισμός. Διάφορες εικασίες δίνουν διαφορετικές πληροφορίες ως προς την ανάπτυξη των Καλαρρυτών. Κάτι που πολλοί λένε είναι πως τον 19ο αιώνα οι οικισμοί αναπτύσσονταν γύρω από την εκκλησία ή την κεντρική πλατεία. Δεδομένου ότι η αρχική εκκλησία, αυτή του Αγίου Νικολάου βρίσκεται στο ΒΑ τμήμα του χωριού μια υπόθεση είναι αυτή που θέλει τους Καλαρρύτες να αναπτύχθηκαν γύρω από την εκκλησία του Αγίου Νικολάου. Βέβαια λέγεται πως στην περιοχή επλήττετο από κατολισθήσεις κι έτσι αν και η εκκλησία βρισκόταν εκεί, ο οικισμός είτε δεν αναπτύχθηκε γύρω της, είτε σταδιακά ερημώθηκε λόγω των κατολισθήσεων, σενάριο πιο απίθανο αφού δεν υπάρχουν οικιστικά κατάλοιπα στην περιοχή. Μια δεύτερη εκδοχή είναι πως οι Καλαρρύτες είχαν ανέκαθεν τη σημερινή τους μορφή με τη διαφορά ότι ήταν μεγαλύτεροι. Έφταναν μάλιστα μέχρι και το ποτάμι, στα νότια του χωριού. Δεν δομήθηκαν γύρω από την εκκλησία ή την πλατεία ίσως επειδή δεν υπήρχε ελεύθερος δομήσιμος χώρος για να συνδυαστούν τα δύο αυτά χαρακτηριστικά τοπόσημα του οικισμού.