Во время боев последних дней сентября 1941 г. немецкие войска группы армий «Юг» (командующий генерал-фельдмаршал Г. фон Рундштедт) в составе 6-й и 17-й немецких армий предприняли попытку прорваться к Харькову на правом фланге и в центре полосы 38-й армии (командующий генерал-майор В. Цыганов) Юго-Западного фронта. Не добившись успеха в центре полосы 38-й армии, противник перенес свои усилия на ее стык с 6-й армией генерал-майора Р. Малиновского.
Утром 4 октября 1941 г. четыре немецкие пехотные дивизии атаковали смежные фланги 38-й и 6-й советских армий. Умелыми действиями части Красной армии не только отразили удар противника, но и выбили его на этом участке из пределов Харьковской области. Следующий удар по 38-й армии германские части нанесли уже на ее правом фланге, и здесь им, наконец, удалось добиться успеха. Противник воспользовался прорывом своих войск вдоль реки Мерлы и, нависая ими с севера над правым флангом 38-й армии, попытался охватить его.
10 октября в подчинение 38-й армии были переданы силы харьковского городского гарнизона под командованием генерал-майора И. Маршал-кова. К середине октября гарнизон имел в своем составе 210-ю стрелковую дивизию, 57-ю бригаду внутренних войск НКВД, три стрелковых и два саперных батальона, зенитный (пять 76-мм пушек) и противотанковый (двенадцать 45-мм пушек) артдивизионы и 1-й полк народного ополчения (1300 человек). После прорыва к городу немецких танков гарнизон был дополнительно усилен артиллерийским противотанковым полком, который имел на вооружении одиннадцать пушек.
15 октября по указанию командующего фронтом был предпринят контрудар войск смежных флангов 38-й и 21-й армий на богодуховском направлении. Соединения и части 38-й армии нанесли удар на Мурафу, а 21-й — в направлении Краснокутска, еще ранее оставленного ими, в результате ожесточенных боев советские войска овладели Мурафой и рядом других населенных пунктов, но под новым натиском противника были вынуждены опять оставить их.
На следующий день войска Юго-Западного фронта выводились на линию Богодухов—западнее Валки—Староверовка, что практически совпадало с заранее подготовленным первым Харьковским оборонительным рубежом. Однако уже 17 октября они получили приказ отойти на более выгодные оборонительные рубежи.
Как только войска 38-й армии начали отход на новый рубеж обороны, противник возобновил наступление. Он нанес удары одновременно на обоих ее флангах, стремясь охватить их и обойти Харьков с северо-запада и юга. Ведя неорганизованное отступление, советские войска были вынуждены к утру 19 октября оставить Ковяги и Калки. А еще через сутки немецкие части ворвались в Люботин. 20 октября части 38-й армии отошли на линию Полевая—Мерефа—Змиев—Андреевка—Балаклея, но и здесь не сумели закрепиться.
21 октября немецкие войска предприняли очередное наступление на харьковском направлении. Прорвав оборону советских войск, они устремились с севера на Дергачи и Алексеевское шоссе, а с северо-запада — на Куряж, чтобы захватить возвышающуюся над Харьковом Холодную гору. Тем временем отходившие с боями соединения и части 38-й армии оторвались, наконец, от противника и окопались в предместьях города.
Командование армии имело задачу удержать Харьков до 23 октября, обеспечив завершение эвакуации населения и заводов. В дальнейшем предстояло отвести войска к востоку, за реку Северский Донец, что диктовалось указанием Ставки на необходимость сокращения линии фронта и вывода части сил из боя для создания резервов.
К утру 23 октября положение защитников города существенно ухудшилось. Немцы начали обстрел Харькова из 300 артиллерийских орудий. Над центром и окраинами почти непрерывно висела авиация противника. Группами по 9—18 самолетов она ожесточенно бомбила город. К часу ночи 25 октября советские войска оставили Харьков. Но еще почти сутки продолжались бои севернее города и на его восточной и юго-восточной окраинах. Затем по приказу фронта 38-я армия, оторвавшись от противника, отошла на рубеж Ефремовки—река Большой Бурлук—Сухой Яр, где и заняла оборону.
По данным советского командования, в ходе операции по захвату Харькова немцы потеряли более 25 тыс. убитыми и ранеными, около 140 танков и бронемашин, до 100 орудий и минометов.
В мае 1942 г. советское командование решило предпринять широкомасштабное наступление в районе города Харькова. Согласно плану операции, войскам Юго-Западного фронта под командованием Маршала Советского Союза С. Тимошенко предстояло нанести два одновременных удара в общем направлении на Харьков. При этом планировалось разгромить харьковскую группировку немцев (6-я немецкая армия из группы армий «Юг»), освободить город и создать плацдарм для дальнейшего наступления в направлении на Днепропетровск.
12 мая войска Юго-Западного фронта перешли в общее наступление. До 15 мая им удалось прорвать оборону противника и продвинуться севернее Харькова до 25 км, а южнее — до 50 км. Однако в дальнейшем продвижение советских войск замедлилось, а вскоре вообще остановилось.
17 мая немецкие части, имея превосходство в танках в 6,5 раза, прорвали оборону 9-й армии Южного фронта и нанесли удар в тыл войскам Юго-Западного фронта. 23 мая немецкие войска соединились в районе города Балаклея, и практически вся многочисленная советская группировка, находящаяся в районе барвенковского выступа, оказалась в окружении. Вырваться из него удалось только около 22 тыс. советских солдат и офицеров. В сводке германского верховного командования сообщалось о следующих потерях Красной армии — 240 тыс. человек пленными, захвачено 2 тыс. орудий и 1250 танков. В советских источниках эти цифры значительно ниже — 70 тыс. человек пленными и 5 тыс. убитыми.