По отзывам современников, во время пребывания в Швеции Панин проникся симпатиями к шведскому конституционному строю
[19], что сыграет в дальнейшем свою роль при разработке им конституционного проекта. В 1758 году после ареста его покровителя А. П. Бестужева-Рюмина, Панин по требованию профранцузской «воронцовской» партии был вынужден уйти в отставку. Однако нашлись люди, ценившие его незаурядные способности. В 1760 году неожиданно для самого себя Панин назначается воспитателем наследника Павла Петровича – пост в то время в высшей степени почётный. В 1763 г. Панин назначается руководителем Иностранной коллегии и практически все внешнеполитические успехи России того времени связаны с его именем.
По отзывам современников, Н. И. Панин был сложным и противоречивым человеком. С одной стороны – прекрасное образование, мягкость и вежливость в обращении, гибкость, безукоризненная честность, патриотизм, литературный талант[20], с другой стороны – многие отмечали у него склонность к лицемерию и интриганству: «на долю Панина выпала странная судьба: не успев сам сделаться фаворитом при Елизавете, Панин главной целью своей деятельности сделал борьбу против фаворитов, для вящего успеха явившись покровителем одного из них – Васильчикова; будучи враждебно настроенным против Петра III, приняв непосредственное участие в заговоре против него, Панин сына его воспитал в благоговейном почитании его памяти»[21]. Естественно, такая противоречивость не могла ни сказаться на нём как государственном деятеле. При этом практически все современники отмечали принципиальность и честность Н. И. Панина, то, что превыше всего он ставил не свои личные интересы, а интересы России. Так его правнучка в своих воспоминаниях о семье приводит несколько отзывов английских дипломатов о Панине как главе российской дипломатии. «Панин отличается прямотой и твёрдостью, мысли свои выражает ясно, определённо, пространно. Эти мысли не прикрывают себялюбивых происков, они не суть произведение случайного впечатления или желания блеснуть; нет, они составляют части одного целого, построенного трудолюбием, деловой жизнью… Свои соображения он высказывает императрице начистоту, и по свидетельству Маккартнея (английского посла в Петербурге) может целый час отстаивать свои взгляды, не разделяемые императрицей… Из всех царедворцев, окружающих Екатерину, один только Панин представляется истинно государственным человеком, в деловых отношениях он не прикрывается таинственным молчанием, плохо скрывающим бездарность; он всегда готов говорить о деле, не тяготится им. Несмотря на множество порученных ему обязанностей, он любит дела, потому что любит отечество».
