Сам Ганнибал написал книгу об инженерном искусстве и составил мемуары на французском языке. Умирая, он оставил не только поместья, крепостных и формуляр с высокими чинами, но и многотомное книгохранилище, ценное собрание физических и механических инструментов, а главное — благодарную память о своей научной деятельности: известный мемуарист XVIII Века Болотов отметил в своих записках «прекрасную геометрию и фортификацию Ганнибала». Это имя, очевидно, приобрело авторитетную репутацию не только в правительственных и военных кругах, но и в среде молодого поколения, стремящегося к знанию.
Жестокая школа жизни, пройденная Ибрагимом, сообщила некоторую суровость его характеру. Это в полной мере сказалось в его семейном быту.
В конце 1730 года в Петербурге Ганнибал встретился с красавицей-девушкой, как полагают, гречанкой, дочерью капитана галерного флота Евдокией Андреевной Диопер. Ганнибал попросил ее руки и настоял на браке, несмотря на протесты красавицы. Обвенчавшись в начале 1731 года, он увез жену в маленький порт Пернов (в бухте Рижского залива). Вскоре он обвинил молодую женщину в намерении отравить его и «смертельными побоями и пытками» принудил ее дать об этом официальное показание. Несчастную заключили в тюрьму, а Ганнибал сошелся с дочерью местного капитана Христиной-Региной Шеберг, от которой имел нескольких детей. Когда пришла пора отдавать их в учение, Ганнибал обвенчался с Христиной и, пользуясь своими связями, добился убийственного приговора для первой жены, все еще томившейся в заключении: «Гонять прелюбодеицу по городу лозами, а прогнавши отослать на прядильный двор [3] на работу вечно». Пожизненное заключение ее могло бы узаконить второй брак Ганнибала. Но Евдокии Андреевне каким-то чудом удается вырваться в Петербург и подать челобитную в синод. Ее освобождают на поруки, а дело поступает на новое рассмотрение. Затравленная женщина, живя в Петербурге, сходится с подмастерьем Академии наук и рождает дочь Агриппину, она послужила источником легенды о белом ребенке, рожденном женою Ибрагима, за что преступная мать была замучена в монастыре, — предание, волновавшее творческое воображение правнука. «Часто думал я об этом ужасном семейственном романе», писал Пушкин в наброске предисловия к «Арапу Петра Великого».
Появление ребенка дает Ганнибалу основание ходатайствовать перед петербургской консисторией, чтобы «оная прелюбодеица долее не называлась его женой».
