После сражения 17-18 августа, русская армия отступала слишком медленно, авангард французов настиг ее в 20 верстах к востоку от Смоленска. У Валутиной Горы на пути корпуса Нея встал арьергард Тучкова 3-го. При первой же стычке русские вынуждены были отойти за речку Колодню и развернуться в линию между селами Топоровщина и Латышина.
Ней бросал свои войска в бой по мере их подхода к полю боя. Натиск передовой французской дивизии генерала Разу русские сдержали, но вскоре перед арьергардом Тучкова 3-го был уже весь корпус Нея. Тучков незамедлительно получил подкрепление – два гренадерских полка и одну артиллерийскую роту. В течение трех часов русские сдерживали французов. Затем арьергард Тучкова начал отход, не ломая боевых порядков и вскоре соединился с корпусом Ермолова, который был развернут за рекой и закрывал дорогу на Москву. Здесь русские сосредоточили 17 пехотных батальонов (около 8 тыс. штыков) и значительное количество артиллерии.
Французы, подойдя к водной преграде, в течение часа вели по противнику артиллерийский и фузейный огонь. В это время на рубеж перехода в атаку вышла дивизия Гюдена. Двумя колоннами она форсировала небольшую реку и атаковала передовые линии русских. Уже в ходе боя французские пионеры возвели переправу для провоза артиллерии на другой берег реки. Первый натиск был неудачен для солдат Гюдена, после нескольких атак его батальоны отошли за реку. А сам Гюден был убит пушечным ядром.
Русский арьергард воспользовался короткой заминкой и отошел к деревне Лубино, где вновь развернулся в боевую линию. Сюда же подошло подкрепление: сводный гренадерский батальон 3-й пехотной дивизии; три пехотных полка: Екатеринбургский, Елецкий, Рыльский; четыре Донских казачьих полка и артиллерийская 8-ми пушечная батарея. К вечеру на этом рубеже началась жестокая схватка. Французы направили главные силы против центра русских войск. Главный удар неприятеля пришелся на Елецкий и Екатеринбургский полки. Русский арьергард начал пятиться назад под натиском превосходящих сил противника, французы были близки к прорыву центра. В кульминационный момент генерал Коновницин повел шесть батальонов своей дивизии в контратаку на этом участке поля боя. Русские дружно ударили в штыки и отбросили неприятеля, не позволив ему довершить прорыв центра.
Уже в сумерках, видя, что русские начали отход, французы предприняли еще одну атаку. Тучков 3-тий повел им на встречу Екатеринославский гренадерский полк. Под генералом была убита лошадь. И он с саблей наголо пошел в бой вместе с передовой линией своих гренадеров. Состоялась жестокая штыковая схватка, русские были опрокинуты и отброшены назад. А генерал Тучков 3-ий получил множественные ранения от вражеских штыков и был захвачен в плен. Но французам не удалось развить свой успех. К месту сражения подошли два русских пехотных полка (Рязанский и Брестский) под командой генерала Олсуфьева, сходу они вступили в бой и остановили атаку неприятеля. Затем, в полной темноте некоторое время продолжалась перестрелка, но в целом битва была окончена. Уже за полночь Ней приказал своим войскам прекратить огонь и отойти к бивуакам. Когда маршалу доложили о потерях французов за минувший день – он прослезился, они были куда больше, чем у русских. Примерный урон у французов составил убитыми и раненными 8 800, у русских – 5000.