Павелецкий вокзал мог быть построен в другом месте. Так, рассматривался вариант постройки в местности Дровяной и Конной площади, там, где сегодня расположен Шаболовский телецентр. Предлагалось расположить вокзал возле Спасской заставы, где находится современная площадь Крестьянской заставы. Однако в этом случае пришлось бы сооружать железнодорожный мост через Москву-реку. Согласованным решением Московской Городской Думы и Общества Рязанско-Уральской дороги (Р.У.Ж.Д.) место для Павелецкого вокзала выделили на Зацепе, отведя под пассажирскую станцию 15 десятин земли.
Московская Городская Управа в своем докладе 12 ноября 1897 г. с удовлетворением отмечала: «Избранное расположение станции "Москва" Р.У.Ж.Д находится в ближайшем расстоянии от торгового центра города Москвы, а именно от Красной площади до товарной станции 3,5 версты, до пассажирского вокзала 3 версты, т.е. менее, нежели до какой-либо из существующих станций других железных дорог, кроме нового Курского пассажирского вокзала, отстоящего на 200 сажен ближе».
Вокзал был заложен осенью 1898 года. Впрочем, полномасштабное строительство по проекту архитектора А. Красовского под руководством главного инженера В.В. Тимофеева развернулось весной 1899 года, после таянья снега, и завершилось в 1900 году. 1 сентября в 11 часов утра на вокзале был отслужен молебен с водоосвящением. Открытие вокзала прошло довольно скромно: на торжествах присутствовали главный инженер строительства В.В. Тимофеев, начальники служб, станционный персонал и представители делового мира - будущие грузоотправители.
Некоторое время после постройки в документах вокзал именовался "Саратовским", а привокзальная площадь - "Саратовской". Во многом это было связано с тем, что в Саратове расположилось Управление Рязанско-Уральской дороги. И только после Великой Отечественной войны официально утвердили название "Павелецкий вокзал", напоминая тот небольшой город, откуда в конце XIX века пошла эта дорога к Москве.
Когда в начале 1980-х годов пришла пора генеральной реконструкции, было решено сохранить облик вокзала. Архитекторы А. Гурков, С. Кузнецова и А. Воронцов успешно выполнили сложную творческую задачу, в основном сохранив стиль прежнего здания.
Капитально обновленный Павелецкий открыл свои двери 3 ноября 1987 г. Новый вокзал превысил старый в шесть раз по объему и в четыре по пропускной способности, а главное - стал значительно удобнее и комфортнее.