Bereits um 1214 existierte der Markflecken "Rapin", 1238 wurde er erstmals schriftlich erwähnt. Die Grafen von Arnstein übten von Alt Ruppin die politische Macht aus. Ihnen gehörte die Herrschaft Ruppin und Lindow. Auf der Halbinsel Amtswerder am nördlichen Ende des Ruppiner Sees befand sich die Burg der Grafen (um 1147).
Neuruppin war das wirtschaftliche Zentrum der Grafschaft. Hier gründeten 1246 Gebhard und Wichmann von Arnstein das erste Dominikanerkloster der Mark.
Die zum Kloster gehörende Kirche ist das einzige Bauwerk, das aus dieser Zeit erhalten ist (Klosterkirche St. Trinitatis an der Uferpromenade/ Martin-Niemöller-Platz).

1256 erhielt "Newen Ruppin" von Günther von Arnstein das Stendaler Stadtrecht verliehen. Bereits 1365 wird die Existenz einer Lateinschule erwähnt.
Im 14. Jahrhundert war die Stadt von einer Stadtmauer umschlossen. Ein großer Teil der Stadtmauer und der Wallanlagen existiert noch heute (teilweise rekonstruiert, ein interessantes touristisches Angebot).

1524 starb der letzte Arnsteiner. Neuruppin gehörte von dieser Zeit an den Kurfürsten von Brandenburg.

Um 1688 wurde Neuruppin Garnisonsstadt. Diesem Umstand verdankt die Stadt, dass Kronprinz Friedrich, der spätere legendäre Friedrich der Große, hier für vier Jahre Quartier bezog (1732-1736). Von Neuruppin wechselte er in das benachbarte Rheinsberg (1736-1740).
Erst mit dem Abzug der Sowjetischen Armee (1993) endete Neuruppins Geschichte als ein ständiger Standort für Truppen (Garnisonsstadt).

Doch zurück ins 18. Jahrhundert: 1787 brannten mehr als zwei Drittel der Stadt ab. Auch das Rathaus und zwei Kirchen fielen den Flammen zum Opfer. Nur wenige Straßen und die Klosterkirche blieben vom Brand verschont.

Friedrich Wilhelm II. veranlasste, die Stadt nach einem einheitlichen Plan wieder aufzubauen. Dadurch erhielt sie eine klar gegliederte Struktur, die bis heute, wenig verändert, erhalten ist.

Im 19. Jahrhundert wurde Neuruppin zum Zentrum der deutschen und europäischen Bilderbogenproduktion.

Trotz der Existenz eines Militärflugplatzes hat die Stadt den II. Weltkrieg beinahe unzerstört überstanden. Am 1. Mai 1945 konnte Neuruppin kampflos von der Roten Armee eingenommen werden. Die Zahl der dann in den folgenden Jahrzehnten stationierten sowjetischen Soldaten war etwa genauso hoch wie die Zahl der Einwohner Neuruppins.

Durch die Errichtung der Neubaugebiete seit den 60iger-Jahren erfuhr die Stadt eine bedeutende territoriale Erweiterung.

Nach 1990 begann eine zielgerichtete, denkmalsgerechte Sanierung der Innenstadt, der Umbau der zahlreichen, aus dem Kaiserreich und den 30er-Jahren stammenden Kasernen, in zivil genutzte Objekte sowie der Ausbau und die Sanierung der Neubaugebiete.

1998 erhielt Neuruppin anlässlich des 100. Todestages des in Neuruppin geborenen Dichters und Romanciers Theodor Fontane den Namen Fontanestadt verliehen.