回国后，在严、王两位学东为他举办的欢迎宴上，他感慨地说：“考察数日，知彼邦富强，教育振兴为主因。欲救中国，必须从教育着手，欲使教育完善，必须有一正式学校组织。”
次年5月底，严范孙带他二渡日本，探求创办新式学校的模式和途径。到日本两个月的时间，二人结识了多位日本教育家，共同探讨有关学校建设及教科书编纂等问题。
两人回到天津，就雷厉风行地开始筹备建立新式学校的工作。他打算以严、王两家的家馆为基础，建立中学。两家极为赞同，出钱、捐物、提供场地，各尽所能，全力支持他兴办中学。
二
1904年10月17日，一所私立中学堂，在严家的偏院正式建立。张伯苓担任监督，总管学校一切事务，从此，他开始了投身新式学校教学、管理的漫长旅程。
学生来源，以严馆和王馆的学生为主。课程最初为两方面：一是中学，如诗经、国文、历史等；二是西学，如地理、物理、化学、数学、英文等。年底，根据严范孙的意见，学校更名“私立敬业中学堂”，取“肃敬受业”之意。次年，按政府规定，遂更名“私立第一中学堂”。