滿朝文武，沒幾個敢在他面前擺架子。
後來，與絕大多數驟然得財或得勢之人一樣，一朝聲勢滔天，林靈素便漸忘形，仗著官家寵信，不再只守齋醮祈禳的本分，頻頻插手朝堂是非。
凡有官員不合他心意，或是對神霄道法稍有微詞，他便藉著入宮講道之機，在趙佶面前進言構陷。
或是暗遞言辭，說其人與佛門勾連、心不向道。
或是羅織細碎過失，吹得其人禍亂天廷，有違長生帝君教化。
朝中文臣、臺諫，接連有人因他這番讒言遭貶、外放。
他又力推神霄之教，大行排佛之舉，要把佛剎改為神霄道觀，將釋迦牟尼改稱 “大覺金仙”，羅漢、菩薩一併改換道號，強令天下寺院依從。
京畿一帶不少古剎，牌匾被拆，佛像移棄，僧牒收回，逼迫僧人蓄髮還俗。
許多世代禮佛計程車族、市井百姓心裡難平，佛門僧眾更是怨聲載道。
文官集團本就忌憚方士干政，又見他借道法打壓異己、攪動禮法。
一部分通道之人，亦嫌他手段酷烈，失了清淨修道本意。
商賈百姓，苦於地方官吏藉著他這道政令藉機盤剝滋擾。
一時間，厭憎他的，不止是佛門一脈，朝野之內，暗流湧動。
彈劾他的章疏接連送入禁中，堆在御案。
趙佶起初尚有心迴護。
一來他自許長生大帝君，林靈素是最先為他印證神霄仙緣的人，算是他這一套道君說辭裡要緊的一環。
二來林靈素平日裡齋醮禱祀，也常有些禱雨應驗之事，在官家眼中尚有可用之處。
每逢有人彈劾，趙佶或是把奏疏壓下留中不發，或是溫言勸解，叫朝臣不必與方士計較。
可彈劾的摺子一日多過一日。臺諫輪番上章，不止說林靈素排佛擾民、恃寵弄權，更直指方士干政，亂了朝廷綱紀。
連不少素來崇奉道教計程車大夫，也嫌林靈素行事張狂，敗壞道門名聲，遂一併上書請官家裁抑。
京中流言四起，街巷之間都在議論上清寶籙宮的事端。
趙佶本就不耐繁雜紛爭，他崇道，本是求逍遙雅趣、神仙快活，哪裡願意整日陷在群臣互攻的是非裡面。
他要的是人人恭順、天下太平的表象，而非為一道士，和滿朝文官僵持對立。
權衡一番，在他眼裡，林靈素這一個方士，遠不及自己安穩享樂要緊。
他不願痛下殺手落個壞名聲，也不敢再把林靈素留在宮中，免得再生風波。
思來想去，便下了旨意，削去林靈素太中大夫的官秩，不再許他隨意入禁講道，發往國師府安置。
如此一來，既給了朝臣一個交代，又不曾取他性命，只遠遠挪開，眼不見，心不煩。
林靈素初到國師府，是不服的。
。風等何，階繞霧香，侍環百，時之壇登宮籙寶清上京汴在，寵親家得，法雷霄神浸生半他
。濟不法道他非並，言讒了時一家、恨妒臣朝是當只，高甚視自仍，斥貶遭雖
。意之主奪賓喧有，分名的師宗部雷他住立裡府這在要，旨妙霄神講開壇登想，壇法下設，院庭一掃清便空尋，子架的客羽門金日昔著端仍他，日幾頭府師國
