На территории Свенского монастыря недалеко от Успенского собора стоял каменный домик, в котором по устным преданиям, бытовавшим в монастыре, останавливался Петр I. Домик был небольшой, всего в «три окна». Внутри него находился иконостас с древними иконами, великолепная изразцовая печь, мебель той эпохи и портрет Петра в рост, оставленный монастырю на память. Снаружи был прибит императорский герб. Позднее под карнизом появилась надпись «В сем домике неоднократнопребывал Преобразователь России». В XIX веке домик использовался под настоятельские кельи. Для этой цели его надстраивали. Однако, в 1887 году была предпринята его реставрация. Надстройку сняли и переместилина десять сажен от домика как здание для приема»благодетелей монастыря», а сам домик стал мемориальным музеем Петра I. До Великой Отечественной войны в областном краеведческом музее хранилась мебель из этого домика, некоторые вещи, которыми якобы пользовался Петр I. Но уникальная коллекция музея была разграблена немецко-фашистскими захватчиками. Не сохранился до наших дней и каменный домик царя.

Достоверно известно, что Петр I находился а Брянске 22 -24 октября 1708 гола. Приезд царя был вызнан продвижением армии шведского короля Карла XII к Стародубу и далее на Украину. Он осмотрел верфь, где по его указу сооружали галеры, городские укрепления, запасы оружия, а вот был ли в монастыре, точно не известно. Петр I отправился в Погребки у Новгорода Северского, где стояли основные силы русской армии. Там к нему явился гонец от А. Д. Меншикова, сообщивший об измене гетмана Украины Мазепы. Церковная же легенда утверждает, что это произошло тогда, когда Петр I находился в Свенском монастыре.

Предание гласит, что великий преобразователь России любил отдыхать в тени исполинского дуба рядом с монастырской стеной, любоваться открывшейся отсюда захватывающей картиной: уходящими вдаль лесами, сверкающими в лучах солнца мелкими озерами, серебристыми водами Десны. Дуб-великан, немой свидетель исторических событий, и сегодня стоит на вершине громадного холма, являясь уникальным памятником природы.

Северная война потребовала мобилизации ресурсов, напряжения всех сил. Петр I приказал даже перелить церковные колокола на пушки. Во исполнение царского указа Свенскому монастырю пришлось в 1701 году отослать на Московский пушечный двор все медные котлы, предназначенные для варки кваса и пивва, винокуренные кубы и даже медную посуду.

Монастырская летописи подчеркивала, что «во время неусыпной деятельности царя Петра Алексеевича было особенно тяжело. По случаю шведской войны были бесперестанные наборы воинских людей, лошадей, поставки провианта и фуража натурою, с обмундированием и с денежным жалованием на каждого отправляемого воина…Во время строения С.-Петербурга из имений Свенского монастыря были вызываемы туда всевозможные мастеровые и чернорабочие люди с лошадьми, с провиантом и годовым жалованием». По царским приказам в угодьях монастыря рубились леса, монастырские плотники посылались в Воронеж для строительства судов, запасы провианта и фуража поставлялись для строителей дорог и мостов. Для казны в монастрырских лесах крестьяне гнали смолу, «на польской границе рубили и очищали засеки». Указ 1705 года, например, обязывал крестьян Свенского монастыря немедленно «учинить по одному возу доброго сена» с каждого двора, внести пошлину, «на корабельное строение», выделить для строительства мостов пятьдесят человек с подводами и топорами. Устные предания о пребывании Петра I в монастыре записаны лишь в XIX веке. Противоречия своего времени в них сглажены, а роль церкви в деяниях Петра I, его внимание к заботам монастыря явно преувиличены.

После Октябрьского переворота 1917 года домик Петра Первого был уничтожен. В настоящее время восстановлен.