传说，被关进铁石岭的重刑犯，没有特殊诏命是很难被放出来的；而进了铁石岭，还能够活着出来的人，实在是少得可怜。
在铁石岭这个地方，每天都有犯人死去，并不足为奇。
这个地方其实最早并不是官府的服役地，大约五六十年前，这里还是有大量闲杂人员居住的，其中不乏杀人犯禁、心狠手辣的亡命之徒。或因铁石岭地处城郊僻处，山路曲曲绕绕，便于隐匿行迹，遂成了这帮人的集聚之地。
说来也是巧合，这些人意外发现铁石岭旁的山内竟可以采石，且都是上好的可建宫殿的大石，这铁石岭也因此繁荣了起来，北燕国很多生活维持不下去的穷苦人，也都进了铁石岭采石谋生，挣着拿命换来的血汗钱。
随着居住的人越来越多，铁石岭内好勇斗狠、打架斗殴、杀人放火以至奸淫掳掠之事，层出不穷，除了这些死于非命者，更有因为开山采石遇到山石崩塌等意外大批死去的人。
不过这帮人却也有自己的头领，又肯吃苦开山凿石，以低于市面价卖给官府，官府从中倒也能省去极大一笔开销。再者，开山凿石这种极其需要体力又颇具危险性的工作，一般人是干不来的。若真要将这些人驱逐了去，再去哪里找来这么多采石人？