Поскольку Новая Земля расположена на материковой отмели, она является типичным шельфовым образованием. Современный рельеф определяется тектоническим движением суши. Для обоих островов характерны сквозные долины–грабены, заложенные по крупным разломам суши и имеющие в общем направлении широтную ориентацию. Подобные сквозные долины были открыты сравнительно недавно, в начале XX столетия, когда русский исследователь В. А. Русанов совершил несколько сквозных маршрутов поперек Северного острова, между губами Крестовой (на западном побережье) и (на восточном). Таким же разломом является и уже отмеченный выше пролив Маточкин Шар, имеющий максимальную глубину до 200 м.
В рельефе архипелага преобладают не вытянутые в каком–то одном направлении, а разрозненные горные массивы. В береговой области обычны фьорды, шхеры, морские террасы, а также множество островов и проливов между ними. Одни участки суши поднимались интенсивнее других и ныне в виде островов возвышаются над водой, другие, опускались или очень медленно поднимались, что привело к образованию множества заливов и проливов. Поднятия суши обусловили молодой характер современной речной сети с невыработанными речными долинами, порогами, водопадами, так называемыми висячими устьями долин. Прошлые и современные оледенения являются причинами господства даже на небольших высотах рельефа присущих высокогорьям черт, где обычны кары, цирки, нунатаки, морены и ледниковые озера, которые придают рельефу альпинотипный облик. По высоте и формам рельефа на Новой Земле представлены равнины (высоты до 200 м над уровнем моря), низкогорья (высоты до 500 м), среднегорья (до 900 м) и высокогорья (свыше 900 м).
В самом общем виде рельеф каждого острова архипелага выглядит следующим образом. Центральные районы в глубине суши на удалении от линии берегов от нескольких до двух десятков километров заняты областью с высотами более 200 м — от низкогорий до высокогорий, включая и ледники, часть которых обрывается непосредственно в окружающие архипелаг морские воды. По периферии эта область окаймлена приморскими равнинами, языки которых по долинам рек и крупным понижениям проникают в глубь возвышенной части, иногда на 20–30 км, а в южном и среднем районах Южного острова даже занимает сплошь все пространство — «от моря до моря», от линии баренцевоморского берега до линии Карского.
Береговая линия архипелага отличается большой изрезанностью, изобилуя, особенно на западе, обилием глубоко вдающихся в сушу заливов — типичных фьордов. Наиболее крупные из них — залив Рейнеке, губа Логинова и губа Саханиха, с крутыми обрывистыми берегами. На юге острова берега имеют типичный шхерный характер. Но самые впечатляющие фьорды находятся на Северном острове, где в их кутовых частях (вершинах) в воду обрываются языки выводных ледников.
