章说，祥州卢氏的远祖可以上溯到古代中原的名门望族-范阳卢氏，后来历次南迁，逐渐从北方迁移到了南方，最终停留在了祥州兴昌县，成为了兴昌县的大姓。
土楼内部由两环同心圆楼组合而成，土木结构，这也是兴昌县最容易找到的两种建筑材料了。楼内按照中国传统的易经八卦的原理布局，以粘土烧制的青砖分隔成了八个单元，楼房呈辐射八等分，分别对应乾坤坎离震艮巽兑八卦，每等分六间起脚为一卦，每卦关起门户自成院落，打开门户全楼贯通，每层二厅，四十四个房间，共有两百零八个房间。
之所以用八卦来布局，是因为范阳卢氏以儒闻名，三国时的大儒卢植就是代表人物，而南迁至祥州兴昌的这一支擅治易，所以这样的布局也体现了他们的特点，他们的祖先也认为这样的布局能够让住在楼里的卢氏子孙们安居乐业。
楼外东西两侧各有一幢高二层的耳房，半月形，砖木结构，每幢六开间，一幢是学堂，一幢是以前卢氏经营的主业，也是兴昌卢氏的族业，棉布作坊。
这幢土楼的建筑风格完美的融入了中国传统的易经八卦的儒家文化，达到了极高的建筑艺术境界，让傅维平赞不绝口，他表示在这幢土楼里，一定要多拍一些镜头。