Тяжёлые грузы трудно везти по неровностям дорог — слишком велика сила трения. Простой и дешёвый способ выровнять и укрепить путь нашли ещё древние египтяне, перемещая каменные блоки для пирамид по деревянным рельсам. Спустя тысячелетия деревянные рельсовые дороги появились на шахтах Германии и Англии, став прообразом железных дорог. Трение о гладкие рельсы было значительно меньше, чем о дорогу, колёса катились легче, и требовалось меньше усилий на перевозку грузов. Рельсы служили ещё и направляющими, не давая гружёным повозкам сойти с пути.
В горнодобывающих районах Германии и Англии деревянные рельсовые дороги возникли ещё в XVI в. По ним из шахт на поверхность в открытых тележках — вагонетках — везли руду или уголь. Рельсовую дорогу строили так: на равном расстоянии друг от друга перпендикулярно ходу движения укладывали короткие брусья — шпалы — и укрепляли их костылями. К шпалам прибивали длинные брусья с пазами под шпалы — рельсы.
Шпалы не давали рельсам расползаться в стороны и проседать в грунт под тяжестью вагонеток. Рельсы отстояли друг от друга по ширине размаха колёс вагонеток, а колёса снабжали ребордами — гребнями, удерживавшими их на рельсах. На подъём вагонетку толкали рабочие, а обратно в шахту по уклону она катились сама. Так был выработан основной принцип железнодорожного хода — сочетание выступающих по высоте рельсов, выполняющих несущую и направляющую функции, с колёсами, снабженными ребордами на внутренней стороне обода.
Тяга — элемент, передающий поступательное движение в машине, механизме.
Первый выход рельсовой дороги на поверхность был сделан в Англии в 1603 г., когда в графстве Ноттингемшир был построен 3-километровый деревянный рельсовый путь для доставки угля из шахты Стрелли к посёлку Уоллатон. По «Уоллатонской вагонной дороге» вагонетки с углём тянули лошади.
В России первую деревянную рельсовую дорогу сконструировал механик Козьма Дмитриевич Фролов в 1755 г. для Колывано-Воскресенских металлургических заводов на Алтае. Фролов первым в мире применил канатную тягу для передвижения вагонеток. Вагонетку зажимами прикрепляли к ведущему тросу и тянули, наматывая трос на шкив, вращаемый лошадью или водяным колесом.
Настоящая железная дорога появилась в 1740 г., когда английский инженер Ричард Рейнольдс отлил для рудничных дорог первые чугунные рельсы — длинные плиты с углублениями для колёс вагонеток. В 1767 г. в шахтах Колбрукдэйла Рейнольдс впервые применил стальные рельсы-желоба, в сечении напоминающие букву U. Рельсы стык в стык крепились к деревянным брусьям, формируя дорожное полотно нужной длины. Но желоба засорялись, и колёса в них застревали, поэтому развитие получили выступающие — тавровые рельсы.
В России первая железная дорога — «Чугунный колесопровод» — появилась в 1788 г. в Петрозаводске на Александровском литейном заводе. По ней рабочие толкали вагонетки с тяжёлыми пушечными заготовками из доменного цеха в сверлильный. И рельсы, и шпалы этой дороги были отлиты из чугуна. Рельсы были уголковыми — уголок удерживал реборды чугунных колёс вагонеток. Грибовидные рельсы придумал В. Джессоп, а современный стандарт двутавровых (тавр — Т-образный профиль) грибовидных рельсов ввёл английский изобретатель Джордж Стефенсон в 1830 г.
Первая пассажирская чугунная дорога появилась в 1801 г. в Англии, соединив города Уондсворт и Кройдон в графстве Суррей. Вагончик с пассажирами по ней тянули лошади. В 1828 г. в г. Балтимор (США) открылась первая конка (конно — железная городская дорога) — новый вид общественного транспорта, предшественник трамвая. В России конки появились в 1860 — 1870 гг. в Петербурге, Москве и Казани. Первые конки двигались по деревянным рельсам, оббитым железом. Революцией в развитии железных дорог стало изобретение в 1804 г. паровоза — лучшего вида транспорта для передвижения по железным дорогам.
С освоением паровозного транспорта началось бурное железнодорожное строительство по всему миру. Отцом железных дорог считают англичанина Дж. Стефенсона. По его инициативе в 1825 г. была открыта железная дорога длиной 40 км из промышленного города Дарлингтона в портовый Стоктон. Для этой дороги по проекту Стефенсона было построено 63 моста и путепровода, двухкилометровый тоннель в горе и высокая насыпь через болотистую местность. По этой первой в мире общедоступной железной дороге передвигались и грузовые, и пассажирские составы на паровозной тяге. Стефенсон ввёл рельсовую колею шириной 1435 мм (стандартная ширина колеи во многих странах мира по сей день). Образцом железнодорожного строительства для быстроходных (до 19 км/ч) поездов стала построенная Стефенсоном в 1830 г. железная дорога Ливерпуль — Манчестер.
Рельсы для первых железных дорог делались из чугуна или из ковкого железа (с 1803 г.). Но чугун был слишком хрупок и трескался под большим давлением, а мягкое железо проседало. Лучшим материалом для рельсов была сталь. Стальные рельсы для дорог большой протяжённости получили распространение только после открытия в 1856 г. бессемеровского процесса, удешевившего производство стали. К 1880 г. повсеместно сложился стандартный вид двутавровых грибовидных стальных рельсов.