Родился 22 октября 1920 года в деревне Жабино Ярославской губернии в крестьянской семье. Окончил Бурмакинскую семилетнюю школу. В 1936 году поступил в Рыбинский речной техникум, в свободное от учёбы время посещал занятия в Рыбинском аэроклубе. В 1940 году был призван в ряды РККА и направлен на обучение в Балашовское лётное училище. По окончании училища прошёл переподготовку на Ил-2.
С марта по май 1942 года служил на Северо-Западном фронте. Принимал участие в освобождении городов Великие Луки и Белый. Всего в ходе Демянской операции им совершено 48 боевых вылетов. Довольно скоро он занял должность командира звена, а затем командира эскадрильи.
С июля по август 1944 года в ходе боёв на 1-м Белорусском фронте эскадрилья Рытова выполнила 63 боевых вылета.
Погиб 10 октября 1944 года от разрыва снаряда в салоне самолёта. Обломки Ил-2 Рытова и останки экипажа были найдены советскими бойцами позже — 27 октября — в районе села Тлущ. Был похоронен в деревне Лясы на берегу реки Нарев.
Звание Героя Советского Союза присвоено 23 февраля 1945 года посмертно.
В марте 1950 года останки Рытова были перезахоронены на кладбище советских воинов в Макув-Мазовецкий.