Οι Καλαρρύτες ανήκουν στον Νομό Ιωαννίνων στην Ήπειρο. Βρίσκονται σε υψόμετρο 1.200μ., ενώ εντάσσονται γεωγραφικά στην περιοχή των Τζουμέρκων, κτισμένοι στο χείλος της απότομης χαράδρας που καταλήγει στον ποταμό Καλαρρυτικό. Απέχουν 56χλμ. από τα Ιωάννινα, 82χλμ. από την Άρτα και 96χλμ. από την Καλαμπάκα.
Η πρόσβαση στον οικισμό είναι εύκολη με αυτοκίνητο, καθώς οι δρόμοι από Ιωάννινα και Άρτα είναι ασφαλτοστρωμένοι και ανοιχτοί όλο το χρόνο. Ο ασφαλτοστρωμένος δρόμος από Θεσσαλία είναι κλειστός από την άνοιξη μέχρι το φθινόπωρο. Τα αυτοκίνητα δεν μπαίνουν μέσα στον οικισμό. Η απόσταση για το κέντρο και τους ξενώνες είναι 5 ως 7 λεπτά με τα πόδια.