Η Παλαιοχώρα είναι κτισμένη πάνω σε μία μικρή χερσόνησο, ανάμεσα σε δύο κόλπους στο Λιβυκό πέλαγος. Η χερσόνησος δεν υπήρχε κατά την αρχαιότητα και το ύψωμα όπου βρίσκεται το ενετικό φρούριο ήταν ένα μικρό νησάκι, μέχρι που ο θαλάσσιος πυθμένας ανυψώθηκε εξαιτίας ενός ισχυρού σεισμού σχηματίζοντας μια χερσόνησο. Στην ανατολική ακτή της χερσονήσου υπάρχει προβλήτα για τον ελιμενισμό πλοίων. Στο δυτικό κόλπο υπάρχει τεχνητό λιμάνι, ενώ στη νησίδα Σχιστονήσι, στο άκρο της χερσονήσου, λειτουργεί φάρος.
Και στις δύο πλευρές της χερσονήσου βρίσκονται παραλίες, μία με βότσαλα στα ανατολικά που ονομάζεται παραλία Χαλίκια ή Βότσαλα και μία με άμμο στα δυτικά που ονομάζεται Παχιά Άμμος και έχει μήκος περίπου ένα χιλιόμετρο. Τέσσαρα χιλιόμετρα ανατολικά της Παλαιοχώρας, στο Γιαλισκάρι βρίσκονται άλλες τρεις παραλίες, κοντά στο φαράγγι που ξεκινάει στο χωριό Άνυδροι. Διάσπαρτοι στις παραλίες αυτές βρίσκονται μεγάλοι βράχοι που ονομάζονται Τάλως, από τον μυθικό φύλακα της Κρήτης. Δυτικά βρίσκονται οι παραλίες Ψιλός Βόλακας, Πλακάκι και Καραβόπετρα, κοντά στο Γραμμένο, μια μικρή χερσόνησο τέσσερα χιλιόμετρα ανατολικά της Παλαιοχώρας, βρίσκονται αρκετές παραλίες, δέκα χιλιόμετρα δυτικά η παραλία Κριός και ακόμη πιο δυτικά, περίπου 18 χιλιόμετρα, η παραλία Ελαφονήσι.
Βόρεια της Παλαιοχώρας βρίσκονται λοφοσειρές και ορεινοί όγκοι ύψους 300 μέτρων, οι οποίοι καταλήγουν προς στη θάλασσα σε μια μικρή πεδιάδα η οποία ονομάζεται Κάμπος της Παλαιοχώρας.
Κατά την αρχαιότητα βόρεια της Παλαιοχώρας υπήρχε η αρχαία πόλη Καλαμύδη, για την οποία λίγα είναι γνωστά. Πιθανότατα ήταν επινείο της αρχαίας Καντάνου. Η στρατηγική θέση της περιοχής ώθησε τους Βενετούς και το στρατηγό Μαρίνο Γκραντενίγκο να κατασκευάσουν ένα οχυρό το 1282, το οποίο ονόμασαν Καστέλλο Σέλινο, αναφορά σε παλαιότερο όνομα της περιοχής, το οποίο ίσως αναφέρεται στα σέλινα που φύτρωναν στην περιοχή. Το φρούριο έδωσε το όνομά του σε ολόκληρη την περιοχή, η οποία σήμερα είναι γνωστή ως Σέλινο. Το οχυρό καταστράφηκε κατά τη διάρκεια μιας επανάστασης ενάντια των Βενετών το 1332 από το Βάρδα Καλλέργη και τους άντρες του. Το φρούριο ξανακατασκευάστηκε το 1334. Το 1536, το φρούριο καταστράφηκε από τον Χαϊρεντίν Μπαρμπαρόσα. Το φρούριο ανακατασκευάστηκε το 1595.
Το φρούριο καταλήφθηκε από τους Οθωμανούς Τούρκους το 1653, οι οποίοι πραγματοποιήσαν σε αυτό κάποιες τροποποιήσεις, και δημιούργησαν ένα οικισμό στο εσωτερικό του, αλλά στη συνέχεια, μετά από συνεχείς καταστροφές λόγω συγκρούσεων, εγκατέλειψαν την περιοχή. Όταν ο Άγγλος περιηγητής Ρόμπερτ Πάσλεϊ επισκεύτηκε το 1834 και βρήκε μόνο ερείπια. Πριν το 1866 στην περιοχή υπήρχαν μόνο προσωρινές κατασκευές για την διαμονή των γεωργών και την αποθήκευση προμηθειών και εργαλείων και σταύλοι. Η περιοχή άρχισε να κατοικείται ξανά από εμπόρους ελαιολάδου, καθώς η Παλαιοχώρα άρχισε να χρησιμοποιείται ως λιμάνι για την εξαγωγή του ελαιόλαδου της επαρχίας Κανδάνου, καθώς ήταν πιο εύκολο να μεταφερθεί εκεί παρά μέχρι τα Χανιά. Ανάφερεται ως οικισμός για πρώτη φορά στην απογραφή του 1881. Το 1897, κατά τη διάρκεια της Κρητικής Επανάστασης του 1895-1898, ο τουρκικός στρατός έσφαξε τους Χριστιανούς της Παλαιοχώρας και στη συνέχεια κατέφυγε στο κάστρο της Παλαιοχώρας, από όπου αποχώρησαν με πλοία των Μεγάλων Δυνάμεων. Μετά την ένωση της Κρήτης με την Ελλάδα το λιμάνι της Παλαιοχώρας γνώρισε μεγάλη άνθηση χάρις στην ακτοπλοιική σύνδεση με τον Πειραιά. Το 1941, κατά τη διάρκεια της γερμανικής κατοχή, οι Γερμανοί μετά από μάχες συνέλαβαν τους υπόπτους για αντίσταση, τους φυλάκισαν και εκτέλεσαν 29. Μετά την Κατοχή, η Παλαιοχώρα άρχισε να αναπτύσσεται ως τουριστικό κέντρο, ένα από τα σημαντικότερα μαζί με την Ιεράπετρα στη νότια Κρήτη, λόγω του κλίματος, των παραλιών και των μνημείων της περιοχής. Πέρα από τον τουρισμό, σημαντικοί οικονομικοί τομείς είναι η γεωργία και η αλιεία.
