张衡家族世代为当地的大姓。他的祖父张堪，自小志高力行，被人称为圣童，曾把家传余财数百万让给他的侄子。光武帝刘秀登基后张堪被任命为蜀郡太守，随大司马吴汉讨伐割据益州的公孙述，立有大功。其后又领兵抗击匈奴有功，被拜为渔阳太守。曾以数千骑兵击破匈奴来犯的一万骑兵。此后在他的任期内匈奴再也没有敢来侵扰。他又教人民耕种，开稻田八千顷，人民由此致富。所以，有民谣歌颂他说："张君为政，乐不可支。"张堪为官清廉。伐蜀时他是首先攻入成都的，但他对公孙述留下的堆积如山的珍宝毫无所取。蜀郡号称天府，但张堪在奉调离蜀郡太守任时乘的是一辆破车，携带的只有一卷布被囊。
张衡像他的祖父一样，自小刻苦向学，少年时便会做文章。16岁以后曾离开家乡到外地游学。他先到了当时的学术文化中心三辅(今陕西西安一带)地区。这一地区壮丽的山河和宏伟的秦汉古都遗址给他提供了丰富的文学创作素材。以后又到了东汉都城洛阳。在那儿，他进过当时的最高学府太学，结识了后来著名的学者崔瑗，与他结为挚友。张衡兴趣广泛，自学《五经》，贯通了六艺的道理，而且还喜欢研究算学、天文、地理和机械制造等。但在青年时期，他的志趣大半还在诗歌、辞赋、散文上，尽管他才高于世，却没有骄傲之情。平常从容淡泊，不喜欢与俗人相交。
中国古代有较少的雕塑艺术品，这是一般人不重视中国古代人物雕塑的重要原因，中国古代重礼教，尊鬼神。艺术重心倾向于工艺美术，在礼器、祭器上发挥艺术天才，并且同样也形成了传统，影响深远。现存的古代人物石雕，实属凤毛麟角。也因为上述原因，中国古代人物雕塑装饰性突出，它孕育于工艺美术所带来的胎记，反映了传统悠久的装饰趣味。石雕古代人物雕塑具有明显的绘画性。中国古代雕塑和绘画是一对同胞兄弟，都孕育于原始工艺美术，从彩陶时代起，塑绘便互相补充、紧密结合。石雕古代人物雕塑风格往往体现了中国古代哲学精神，儒家哲学尊天命，受其影响，中国艺术反映了崇高、庄严、壮丽、典雅等风格，在艺术上则表现为返璞归真，追求一种内在美，一种原始美，这些追求是难以站在西方艺术角度来理解的，所以一般习惯欣赏写实性雕塑的人，欣赏中国古代雕塑总有障碍，这就需要提高中国传统文化修养，从根本上认识中国艺术.
