然而，公元1027年，拜占庭皇帝与耶路撒冷的法蒂玛统治者达成协议 保证通往基督教圣地的朝圣之路畅通无阻。因此，前往圣地的人数激增，众多虔诚的信徒希望在耶稣受难千年纪念日之际及时抵达圣地。罗贝尔或许就在考虑朝圣。将公国交给一个孩子绝对称不上负责之举，但他还是决定前往，并做好自己能做的安排。他逐渐放手，让威廉扮演继承人的角色，并以威廉的名义赏赐礼物、签署文件。如今，在费康圣诞节的宫廷中，他要求群臣宣誓效忠，所有人都这样做了，无一例外、无人反对。罗贝尔对自己履行的义务感到满意，于是带上国库所有的钱，离开了诺曼底，再也没有回来。
他先穿过阿尔卑斯山，来到罗马，一路给各教堂馈赠重金，很快便获得了“宽宏的罗贝尔”的称号。假如他继续南下，将遇到第一代迁往意大利“踝”部的诺曼人。但实际上，他很可能是前往海岸，乘船向东。公元1035年初，他抵达君士坦丁堡，将大部分时间用来在这座城市旅行，甚至面见了拜占庭皇帝。受到虚荣心的驱使，诺曼史学家称罗贝尔的财富震撼了拜占庭皇帝。离开拜占庭宫廷后，公爵继续前往耶路撒冷。
