К стенам форта стали стекаться индийские ткачи и прядильщики. Они знали, что белолицые люди из форта нуждались в тонких красивых тканях. Им казалось, что там, под стенами чужеземного форта, они приобретут долгожданную безопасность и убежище от произвола местных правителей.
Вскоре у северной стены форта стал расти хорошо спланированный индийский город. Черный город. Для видимой безопасности его кварталы обнесли глиняной стеной. За внешними стенами форта находился Белый город, населенный англичанами, португальцами, англо-индийцами и индийскими христианами. Оба города росли, а с ними расширялся и форт. Уже не 25 солдат охраняли имущество Компании, а целый гарнизон стоял в стенах форта. Парусные корабли ежегодно везли в Мадрас новые подкрепления. На шлюпки, идущие к берегу, грузили солдат, пушки, ядра, бочки с порохом. Гарнизон стал превращаться в регулярное войсковое соединение. Ост-Индская торговая компания приступила к завоеванию Индии. Флаг завоеваний шел по пятам торговли. Длинноствольные мушкеты быстро уговаривали раджей на очередную уступку. Чугунные ядра, с шипением вылетавшие из пушечных жерл, напоминали о том, что Ост-Индская компания шутить не намерена. Военные фрегаты теперь бороздили волны Бенгальского залива, готовые в любой момент прийти на помощь. Угрозами и посулами, обманом и шантажом, силой и лестью форт вбирал в себя все новые и новые земли. Договоры об аренде этих земель подписывали блистательные султаны Голконды, фанатичный могольский император Аурангзеб, слабые и падкие на подарки местные навабы и раджи. В конце XVII — начале XVIII века под властью англичан оказались почти все окрестные деревни — Трипли-кейн, Тондиарпет, Эгмор, Нунгамбакам, Вепери, Кодам-бакам, Чепак, Пудупаккам, Мамбалам. Впоследствии они превратились в районы нового колониального города.
Французы, сидевшие в Пондишери, настороженно следили за англичанами в Мадрасе. В 1690 году у стен форта появился французский флот. После первого морского сражения англичане поняли, что французы — нежелательные соседи. До мадрасского форта время от времени докатывались отголоски той войны, которую вели Англия и Франция за обладание Индией. Эта война шла с переменным успехом.
Сентябрьским утром 1746 года дозорный с башни форта заметил на горизонте белые паруса кораблей, идущих военным строем. Он поднял тревогу. Несколько английских фрегатов вышли в море. Белые облачка разрывов свидетельствовали о том, что завязался морской бой. Два английских фрегата, развернувшись, пустились наутек. Вражеские корабли приближались к берегу. Видно было, как спускают шлюпки и французские солдаты и матросы ловко спрыгивают в них. Осада продолжалась три дня. На третий день на флагштоке английского форта взвился белый флаг Бурбонов. Битва была проиграна. Членов совета Ост-Индской компании провели по улицам Пондишери, как пленных рабов. Французы забрали из форта все товары и разрушили Черный город.
