Die flächendeckende Besiedlung dauerte dann noch etwas. Die heute noch existierenden Orte und Flurnamen sind meist slawischen Ursprungs. Die Geschichte im Mittelalter war durchaus bewegt. Bis Mitte des 15. Jh. wechselten die Grafen und Besitzer regelmäßig, dabei gehörten weite Gebiete den Böhmen, den Berka von der Duba. Diese und die Grafen von Dohna waren sich dabei keinesfalls friedliche Nachbarn! Aus dieser Zeit stammen viele der militärischen Ausbauten und Burganlagen von denen heute noch Stufen und Falze zeugen. Erst 1451 kam es im jetzigen Umfang unter die Herrschaft der Wettiner. Die Grenze im Bereich der Elbe verläuft so seit 1459 (Eger-Vertrag).
Die Preußen (1756 kapitulierte die Sächsische Armee unterhalb des Liliensteines) und Napoleon standen schon unterm Lilienstein und die Sachsen jedes Mal auf der Verliererseite.
Die vielen deutschen Orts und Flurnamen im Böhmischen rühren übrigens daher, dass diese Gebiet von vielen Deutsprachigen bewohnt wurde. Diese Namen stammen also nicht aus der Zeit der faschistischen Besetzung sondern sind authentisch.

Der Titel entsprach aber durchaus dem Zeitgeschmack schließlich gibt es "Schweizen" wie Sand am Meer in Deutschland. Ab 1800 herum verbreitete sich der Name auch im Schrifttum. Zu den erklärten Gegnern dieses, zugegeben etwas schrägen Etiketts, gehörte Rudolf Fehrmann der sich um den Titel Sächsisches Felsengebirge bemühte, sein Kletterführer führte die Schweiz trotzdem im Titel. Nach 1800 kam es auch zur touristischen Erschließung der Landschaft.