漫步硯洲島，有一個不得不說的典故，那就是包拯擲硯（包公擲硯）的故事。

北宋慶歷元年（1041年），包拯任端州知府，雖然只有三年，但是，政績彪炳，兩袖清風，深受人民愛戴。

相傳包拯離任時那天，當船行至西江羚羊峽時，忽然狂風大作，烏云滿天，波浪翻滾，船只不能前行，包公大驚，立即命隨從仔細搜查船艙，看是否有非分之物。隨從知道包拯的脾氣，趕忙拿出一塊用黃布包著的東西，戰(zhàn)戰(zhàn)兢兢地雙手送到包拯的面前，說是父老鄉(xiāng)親臨別時贈送以表心意的，包拯打開一看，原來是一方雕刻精致的端溪名硯。他雖然十分喜愛，但心想：這是端州人民的寶貝，我不能帶走。于是二話沒說，便把它扔進洶涌澎湃的西江。

說來也奇怪，江面立即風平浪靜，陽光普照。在包拯擲硯的地方，慢慢地升起了一片綠洲，后人稱它為“硯洲”，這就是硯洲島了。

島上的包公樓是硯洲村民及社會人士緬懷包公為官清廉，造福黎民百姓，為勵后人而建。硯洲包公樓建于清朝道光十四年(公元1843年)，已有170多年歷史。