荷兰人占了曼哈顿后，把它命名为“新阿姆斯特丹”（New Amsterdam）。曼哈顿是天然深水港，位置适中，自然条件优越，她很快就成了商船云集的重要港口。各国商人纷沓而至，据说在这里可以听到18种不同的语言。十七世纪五六十年代的英国，开始走上大国争霸的舞台。在摆平了西班牙之后，下一个目标就是荷兰。从1652到1674年，英荷之间进行了三次战争，英国凭借强大的海军渐渐占了上风。荷兰战败，被迫将新阿姆斯特丹割让给英国。当时正好是英王查理二世的弟弟，约克公爵的生日，于是将新阿姆斯特丹改名为新约克郡，作为送给约克公爵的礼物。这就是纽约名称的由来。
1640年代，殖民地内的小块土地由基本的尖木桩和围篱分隔。而后，为了有效控管来自非洲的奴隶，荷兰的移民团建造了更坚固的栅栏。1653年，这片栅栏被强化成一座约3.65米（12英尺）高的泥土木板墙。此后，为了抵御印地安部落、新英格兰殖民者以及英国人，木板墙便逐渐地被扩张和强化。
