Дворец предназначался для отдыха членов императорской семьи по пути из Петербурга в Москву, откуда и получил своё название. 12 февраля  1767 года  в Тверской путевой дворец впервые прибыла императрица  Екатерина II.

Дворец был перестроен  К. И. Росси  в начале  XIX века. В это время здесь жила сестра  Александра I,  Екатерина Павловна, бывшая замужем за тверским губернатором  Георгом Ольденбургским. Она превратила дворец в один из центров светской жизни страны и модный литературный салон, где собиралось высшее общество Твери и куда приезжали многие выдающиеся люди из Москвы и Петербурга.  Н. М. Карамзин  читал здесь императору Александру отрывки из своей «Истории».