出身于北京一个古老世家(族谱可以追溯到宋朝皇室)的赵无极，幼年开始学习书法，14岁时即考入国立杭州艺专学习绘画。在艺专，潘天寿是赵无极的老师之一，总要求临摹古画。