1897年10月，胡敦复考入上海南洋公学外院（即小学），这所新式学堂由盛宣怀于1896年在上海徐家汇创办的。
南洋公学是中国最早兼有师范、小学、中学、大学教育体制的学校，胡敦复入学时，南洋公学成立尚不足一年，当时学校还只设外院。
1898年春，胡敦复又进入中院（即中学）学习，1901年，胡敦复从南洋公学中院毕业时，正值南洋公学新设置的经济特班招生，胡敦复随即参加了这次考试，被录取在经济特班学习，蔡元培此时正应聘在经济特班担任总教习，胡敦复有幸成为蔡元培的弟子。
蔡元培介绍胡敦复等24名比较优秀的学生，跟随传教士马相伯学习拉丁文，当时马相伯的家就居住在南洋公学附近，胡敦复等人就到马相伯家里学习。马相伯有一颗仁爱和博大之心，对这24位学生非常赏识，悉心进行教育和培养，不但教拉丁文，而且还教法文和数学。
胡敦复是非常幸运的，在其青少年时期就遇到了胡雨人、蔡元培、马相伯这三位教育大家，在三位教育大师的教育和熏陶之下，对胡敦复的学业及人生历程以及在开创中国现代高等教育事业上都有直接而深远的影响。
1903年至1905年，17岁的胡敦复曾经南下广州，在广州一所学堂任教，有关胡敦复这两年的教书情况，由于缺少史料记述，我们可以在此存疑？一个刚刚踏入社会的青年，为何只身远走他乡教书，想必是有所投奔于谁？
1905年秋，胡敦复从广州返回上海，进入复旦公学学习，1905年5月27日创办的复旦公学，是马相伯为恢复震旦学院而创办的，这是中国人自己创办的第一所民办官助的高等学校。
胡敦复在复旦公学学习时，时值两江总督托忒克·端方在江南选派赴美留学生，胡敦复和大妹胡彬夏经过考试和遴选，都被派往美国留学，胡敦复进入康奈尔大学攻读数学。
