吴兴潘姓始迁祖潘伯民，名攻，字汝里。西晋末年，随东晋元帝南渡（307年），始迁至吴兴郡乌程县外溪。因追随晋元帝征战有功，被封为猛烈将军。其后伯民公七世传潘综公，潘综幼年时遭遇孙恩之乱，但他临危不惧，舍命救父，“父子遂得免”。由于事迹感人，经太守王诏之举荐，南朝宋元嘉四年（427年），诏建白华坊，并旌其所居为纯孝里，这便是纯孝里的来源。此后经十二世至仲阳公迁闽山桃源，再六世至逢辰公迁婺源桃溪，自婺之桃溪又十二世，传至潘万一，万一公尊其父训率全家从婺源桃溪，复迁至吴兴环渚乡汇沮村，此纯孝里之正派也。潘综被其后代子孙尊为“中兴始祖”，并尊其为汇沮纯孝里潘氏一世，此即乌程纯孝里潘氏。纯孝里潘氏和婺源桃溪潘氏同为纯孝公、仲阳公、逢辰公之后。