Οι Καλαρρύτες ανακηρύχθηκαν διατηρητέος οικισμός το 1975. Συνεπώς σε γενικές γραμμές έχουν διατηρήσει τον αρχιτεκτονικό τους χαρακτήρα. Ωστόσο, δεν παύουν να παρατηρούνται διαφόρων τύπων αλλοιώσεις στον οικισμό. Λόγω έλλειψης τεχνητών, δυσκολίας εύρεσης και μεταφοράς παραδοσιακών υλικών αλλά και ακρίβειας της κατασκευής παρατηρούνται αλλοιώσεις στις στέγες, τα κουφώματα, αλλά και τις λιθοδομές και τους φέροντες οργανισμούς.
Τα παραδοσιακά ξύλινα κουφώματα συχνά καλύπτονται από ένα είδος μεταλλικού εξώφυλλου που τοποθετείται εξωτερικά ή αντικαθίστανται ακόμα και από σύγχρονα κουφώματα αλουμινίου. Οι στέγες, κάποιες φορές αποτελούνται από κεραμίδια ή σε ένα παράδειγμα και από ασφαλτικά κεραμίδια ή μεταλλικά κεραμίδια από λαμαρίνα έναντι των παραδοσιακών ασβεστολιθικών πλακών. Επιπλέον, οι παραδοσιακές στέγες συχνά μονώνονται εσωτερικά με ασφαλτόπανο για πρακτικούς λόγους.
Παρατηρείται επίσης, η προσθήκη σε κατοικίες όγκων κατασκευασμένων από σκυρόδεμα με στέγαση από επίπεδο δώμα και όχι παραδοσιακή στέγη, αλλά και η κατασκευή κτιρίων με φέροντα οργανισμό από οπλισμένο σκυρόδεμα και στοιχεία πλήρωσης από τούβλο και εξωτερική επένδυση πέτρας.
Οι παραπάνω αλλοιώσεις μπορούν να διακριθούν σε ήπιες και έντονες ανάλογα με το αν εντάσσονται ή όχι στο παραδοσιακό αρχιτεκτονικό ύφος του οικισμού. Για παράδειγμα, η προσθήκη ενός όγκου από σκυρόδεμα με δώμα και επιχρισμένη όψη παρεκκλίνει σημαντικά από το ύφος του οικισμού και άρα θεωρείται έντονη αλλοίωση. Το ίδιο και η κατασκευή μιας στέγης από κεραμίδα ή ασφαλτικά κεραμίδια. Αντίθετα, η κατασκευή κτιρίου με φέροντα οργανισμό οπλισμένου σκυροδέματος αλλά με παραδοσιακή όψη θεωρείται ήπια, αφού το παραπάνω κτήριο εντάσσεται στο αρχιτεκτονικό ύφος του οικισμού.
Σε γενικές γραμμές, με εξαίρεση κάποιων κατασκευών, οι Καλαρρύτες θα μπορούσαν να χαρακτηριστούν ένας ήπια αλλοιωμένος οικισμός, καθώς η συνολική του εικόνα δεν έχει τροποποιηθεί σε μεγάλο βαθμό. Φυσικά, σημαντικό ρόλο στην διατήρηση αυτή έπαιξε η ανακήρυξη του ως διατηρητέος οικισμός.