这个成语来源于宋.释道原《景德传灯录.卷十.赵州东院从谂掸师》，大众晚参，师云：“今夜答话，有解问者出来。”时有一僧便出，礼拜。谂曰：“比来抛砖引玉，却引得个墼子。”

唐代高僧从谂掸师，主持赵郡观音院多年。相传他对僧徒参禅要求极严，必需人人静坐敛心，集中专注，绝不理会外界的任何干扰，达到凝思息妄、身心不动的入定境界。有一天，众僧晚参，从谂禅师故意说：“今夜答话，有闻法解悟者出来。”

此时徒众理应个个盘腿正坐，闭目凝心，不动不摇。恰恰有个小僧沉不住气，竟以解问者自居，走出礼拜。从谂掸师瞟了他一眼，缓声说道：“刚才抛砖引玉，却引来一块比砖还不如的土坯！”

另外，有一个抛砖引玉的故事。据《历代诗话》、《谈证》等书记述：唐代诗人赵嘏，以佳句“长笛一声人倚楼”博得大诗人杜牧的赞赏，人们因此称赵嘏为“赵倚楼”，当时另有一位名叫常建的诗人，一向仰慕赵嘏的诗才。他听说赵嘏来到吴地，料他一定会去灵岩寺游览，便先赶到灵岩，在寺前山墙上题诗两句，希望赵嘏看到后能添补两句，续成一首。果然赵嘏游览灵岩寺看到墙上两句诗，不由诗兴勃发，顺手在后面续了两句，补成一首完整的绝诗。常建的诗没有赵嘏写得好，他以较差的诗句引出赵嘏的佳句，后人便把这种做法叫作“抛砖引玉”。其实，常建、赵嘏并非同时代人，他们各自的活动年代相距百年之多，续诗之说不可信，只是由于这段故事很出名，人们也就承认它是成语“抛砖引玉”的出处之一。