9 ноября Наполеон в Смоленске. Запаса продовольствия в городе хватило только на гвардию, остальные подбирали и разворовывали крохи. Положение Наполеона критическое: с одной стороны наседает Витгенштейн, с другой поджимает Кутузов, сзади теснит Милорадович. На южном направлении к армии Тормасова присоединилась Дунайская армия. Объединённые армии под командованием адмирала П.В. Чичагова 16 ноября взяли Минск, грозя, соединившись с Витгенштейном, отрезать французам путь к отступлению.
В таких условиях о зимовке и продолжении кампании речи уже не шло, и Наполеон решил вывести остатки армии из России. 14 ноября, дождавшись подхода всех частей (не более 50 тыс. солдат), Наполеон с гвардией, корпусами Жюно и Понятовского вышел из Смоленска на Оршу, из-за нехватки лошадей бросив большую часть артиллерии. За Наполеоном шли Богарне и Даву, замыкал отступающую армию арьергард маршала Нея. Армия растянулась, шла частями с большими интервалами, чтобы по очереди останавливаться в деревнях. Кутузов решил разбить французскую армию по частям и перегородил дорогу у г. Красного летучим отрядом А. П. Ожаровского, авангардом Милорадовича и войсками Д. В. Голицына.
15 ноября Наполеон под обстрелом Милорадовича прорвался в Красный. Он понял, что шедшим за ним корпусам грозит уничтожение, и задержался с гвардией в Красном, чтобы им помочь. Внезапной атакой в ночь на 16 ноября императорские гвардейцы разгромили отряд Ожаровского.
16 ноября к Красному подошёл Богарне и попал под огонь русских батарей. Принц не успел развернуть свою артиллерию — её отбила русская кавалерия. Контратаки Богарне провалились. Под покровом сумерек Богарне, бросив раненых, кружными путями прокрался меж казачьих дозоров и привёл в Красный всего лишь около 3000 солдат — половину своего корпуса, без артиллерии и обозов.
17 ноября на подступах к Красному появился Даву. Милорадович и Голицын растянули войска вдоль дороги и ударили во фланг и тыл Даву. Наполеон вывел ему на помощь гвардию. Под прикрытием гвардии поредевший корпус Даву, бросив тяжёлое вооружение и обоз, проник в Красный.
Наполеону грозило окружение. Чтобы не потерять армию, он отступил к Орше, не дожидаясь арьергарда. Ней был оставлен на произвол судьбы.
18 ноября под Красным путь Нею преградили около 15 000 солдат Милорадовича. Отважный маршал отказался сдаться и пошёл напролом под ударами кавалерии, сквозь атаки пехоты и артиллерийский огонь, теряя солдат убитыми и пленными. Поняв, что в Красный ему не пройти, Ней стал прорываться через русские заслоны лесами на север, через речку Лосвинку к Днепру, чтобы по противоположному его берегу, в обход Красного добраться до Орши. Ночью Ней оторвался от преследования: он развёл костры, якобы встав на ночлег, а сам в темноте увёл отряд к Днепру. Переходя Днепр по тонкому льду, солдаты Нея тонули в полыньях. Но маршал упрямо двигался вперёд.
На другом берегу Днепра Нея поджидали казаки Платова. Сбившись в плотную колонну, бравые французы шли, терзаемые казачьими саблями, пиками и ядрами. Ней сражался как рядовой и буквально продрался к Орше, приведя императору всего 1500 солдат из своего 8-тысячного корпуса.