宰相村裴柏村的东南方是层峦叠翠的中条山，北方有绵绵延延的紫金山，西方有蜿蜒起伏的峨嵋岭，村东是千曲百转的涑水河。汉顺帝刘保永建初年，并州刺史、度辽将军裴晔来到闻喜，看到这里有一处依山傍水的空地，只见此地形：头依紫金山，峰峦突兀，足蹬董泽湖，烟波浩淼，整个地势坐西朝东，前低后高，前宽后窄；鸡公岭、南岭等9个山头呈现元宝形，拱卫着两三千亩良田。9座岭上柏树苍天，郁郁葱葱，犹如展翅欲飞的9个凤凰，真乃“九凤朝阳”；而董泽湖又是古董父豢龙之处，是龙的故乡。像这样龙凤呈祥、风云际会的地方，确为千载难逢的风水宝地！于是裴晔将全家搬迁于此。他以裴姓为首，以柏树为名，“裴柏村”由此诞生了。
裴氏出自有熊氏，风姓，以中华民族的人文始祖黄帝为远古始祖，为嬴秦始祖非子之后，非子的支孙封（左非右邑）乡，因以为氏。周僖王时，六世孙陵封为解邑君，乃去“邑”从“衣”，以“裴”为姓。后裴氏分为三支，分居河东、燕京、西凉等地，但考其谱系源流，皆出于闻喜之裴氏，裴柏村是海内外裴氏的发源地，故有“族人遍九州，天下无二裴”之说。
裴晔定居裴柏村后，其次子裴茂平定李傕叛乱，被封为阳吉平侯，从而奠定了裴氏家族贵族的社会地位，推动了裴柏村的崛起。
崛起的裴柏村把更多的优秀裴氏子弟送出去，从而促使裴氏家族走向了鼎盛。到了两晋时期，裴氏家族进入它自身发展的第一个高峰，成为海内首先发达起来的士族高门。其代表人物有裴秀、裴頠、裴楷。裴秀因立司马炎有功，西晋代魏后，晋武帝拜裴秀为司空、尚书令，封钜鹿郡公。裴秀还是历史上非常有名的地图学家，为中国地图之父。其子裴頠为尚书左仆射、侍中，封武昌侯公，同时他还是著名的哲学家。在当时崇尚“庄老”、高谈“玄理”的情势下，他独树一帜，提出“无不能生有”，“有”是万物存在变化之基础等朴素的唯物主义观点。裴楷为中书令、侍中、太子少师，封临海侯。当时的河东裴氏已经成为与两晋时期首屈一指的琅琊王氏相提并论的一大望族。
南北朝时期，裴柏村裴氏家族还出了辉耀千古的“史学三裴”。裴松之撰《三国志注》、裴駰撰《史记集解》、裴子野撰《宋略》，他们把裴氏人物在史学方面的成就推上了顶峰。
在隋朝存在的30多年间，裴氏家族出现了数十位有影响的人物。代表人物有裴政、裴蕴、裴矩、裴世清。裴政最大的贡献是帮助隋朝修定了《开皇律》，《开皇律》无论从内容到形式，比历代任何律令都显得格外开明，是一部划时代的古代刑典，为后世立法奠定了规范格式。裴蕴最大的贡献是实行“貌阅法”，以增加朝廷的财政收入。裴矩最大的贡献是加强内地与西北各族人民经济文化的联系，裴矩所著《西域图记》，详细记述了西域14国的政治、经济、文化、交通及民风，对研究我国隋唐时期西北社会状况有重要价值。书中还绘制了许多地图，标出了从敦煌到达地中海的3条大道，其中中道和南道，即为历史上有名的“丝绸之路”。裴世清最大的贡献是带领第一个友好代表团访问日本。河东裴氏在隋朝统治时期能发挥如此重要的作用，为它在唐朝继续鼎盛奠定了基础。