Однако, в последующее время литовцы не перестали беспокоить Калужской области; более того, к ним еще присоединились крымские татары, и жизнь в крае текла по-прежнему тревожно.
В 1508 г. при Василии III, по договору с Сигизмундом отошла и неприсоединенная часть Калужской губернии к Москве, а отнятые ранее места утверждались за нею окончательно. В договорной грамоте сказано, что Сигизмунд утверждает за слугами Василия Ивановича — князьями Перемышльскими, Воротынскими, Мосальскими и другими, из поколения св. Михаила все их вотчины и что он обязан не вступаться в Тарусу, Оболенск, Мосальск, Воротынск и в г. Любутск (ныне село вниз по Оке), и в г. Козельск, и в Людимеск (село Перемыш. у.), и в Серенск и во все козельские, и в людемские, и в серенские места. Но этот договор не гарантировал спокойного существования упоминаемым волостям. Пограничная жизнь была полна беспрерывными ссорами и грабежами москвичей и литовцев; все были постоянно на стороже, и города обратились в сильно укрепленные пункты.
Крымские татары начинают беспокоить калужский край с 1512 г. Союзники Москвы при Иване III, они теперь меняют свою тактику и открывают ряд набегов на Московские пределы, в том числе и на Калугу с ее уездами. Для защиты от крымцев через Калужскую губернию была проведена засека, тянувшаяся вдоль юго-восточной и южной границы, почти до г. Жиздры, 193 в. Засека называлась Лихвинской и Козельской и делилась на участки, называвшиеся по имени засечных ворот. Лихвинских засек было 7, а Козельских 4. «Лихвинская засека состояла из глубокого рва с крутым гласисом, по которому был проведен палисад с бойницами, а далее путь был прегражден громадами порубленных и поваленных больших деревьев». Ворота же стояли на самой дороге к засеке; ворота были укреплены башнями и бойницами для пушек и пищалей. В конце XVII в. были еще целы ворота, но в настоящее время только в некоторых местах можно видеть остатки рва и гласисов.
Военный характер Калужских городов налагал свою печать на жителей, которые были мало склонны к гражданскому порядку и спокойной жизни. А так как к тому же Иван IV не мешал уходить на эту украйну преступникам, беглым холопам и вообще «ворам», по терминологии того времени, то естественно, что в бурную эпоху лихолетья Калуга играет видную роль, оказывая самозванцам радушный прием. Сначала здесь подвизался Болотников, а потом «калужский царик» Тушинский вор, здесь же и сложивший на охоте 11 декабря 1610 г. свою буйную голову. На смену ему явились литовские люди с Сапегой, которые «воевали» Калужский, Воротынский и Перемышльский уезды. Грехи свои калужане искупили под начальством кн. Дм. Трубецкого, приняв участие в освобождении Москвы от поляков. На земском соборе 1613 г. были депутаты от Калуги, Малоярославца, Козельска, Мещовска, Перемышля, Серпейска и Боровска.
