Одной из причин регулярных конфликтов были сексуальные отношения. С самого начала среди колонистов существовало огромное несоответствие в численности мужчин и женщин — в соотношении примерно четыре к одному до конца 1820 г. Основатели колонии понимали, что в такой ситуации будут возникать беспорядки, и сообщили Филлипу, что его мужчины могут брать женщин с тихоокеанских островов. Во время плавания Первого флота Филлипу и офицерам с огромным трудом удалось изолировать заключенных женщин от мужчин, а поддержка, которую он оказывал прибывающим парам, должна была означать поощрение цивилизующей роли семейных отношений. Губернатор при этом особо опасался распространения гомосексуализма среди мужчин и считал, что наказание за содомию должно быть чрезвычайно жестким. «Я хотел бы, чтобы такой преступник содержался под стражей, пока не появится возможность передать его туземцам Новой Зеландии и позволить им съесть его». Поскольку эти варианты тихоокеанского сожительства и наказания были изначально обречены, физическое влечение и беспорядочные сексуальные отношения создавали тяжелую проблему для начальства исправительной колонии.
Филлип также считал, что со временем аборигены, возможно, «позволят своим женщинам выходить замуж и жить» с каторжниками. Как только взоры колонистов обратились к местным женщинам, они стали воспринимать их как свою собственность. Сначала отчеты офицеров о встречах в окрестностях Сиднея излагались изящным языком цивилизованных мужчин, встретивших женщин, живших в природной среде, «лесных нимф» и «черных, как сажа, сирен», невинных в своем обнаженном бесстыдстве. В тщательно составленных повествованиях эти образованные англичане подчеркивали, что туземки находятся в полном подчинении у своих спутников жизни, и, исполненные нравственного отвращения, порицали аборигенов, которые предлагали им женщин. Сексуальные контакты между солдатами, каторжниками и аборигенками были обычным явлением и отмечены распространением венерических болезней. Тем не менее длительные отношения устанавливались нечасто, а отсутствие взаимопонимания относительно характера этих контактов обычно вызывало трения. Созданию семьи мешало то, что слишком часто страсть и любовь пересиливали позор и презрение, которые вызывали смешанные браки.
На рубеже веков уже были налицо зачатки постоянного проживания. Пять тысяч британских постоянных жителей Нового Южного Уэльса были поровну поделены между Сиднеем и территорией в глубине страны (и еще тысяча на острове Норфолк), что указывает на равновесие между торговой и сельскохозяйственной деятельностью. Колония приближалась к достижению самообеспечения продовольствием, а быстрый рост местного предпринимательства поддерживал уровень жизни, по крайней мере сопоставимый с уровнем жизни метрополии. Такое успешное переселение, состоявшееся намного быстрее, чем это ранее происходило при колонизации в Северной Америке, вызывало изменение принципов, на которых основывалась колония, начинавшаяся как место наказания.
