Udokumentowane początki rybnickiej parafii sięgają XII wieku. 

Od tego czasu do 1801 roku parafialną świątynią był kościół Wniebowzięcia Najświętszej Marii Panny przy ul. Gliwickiej. Od 1801 roku funkcję tę przejął kościół Matki Bożej Bolesnej. Pierwszy parafialny kościół w Rybniku stał na Górce Kościelnej zwanej też Górą Cerekwicką, u zbiegu ulic Gliwickiej i Cegielnianej. Dokument pochodzący z 1223 roku stwierdza, że poświęcił go biskup wrocławski Żyrosław II, pełniący swój urząd w latach 1170-1198. Kościół musiał więc powstać najpóźniej w 1198 roku. Jego fundatorem był książę opolsko-raciborski Mieszko I Plątonogi. Musiał więc Rybnik być znaczną i rozwiniętą osadą, skoro pod patronatem książęcym wzniesiono tu świątynię. Być może przed fundacją Plątonogiego Rybnik posiadał jeszcze starszą świątynię.

Drewniany kościół z końca XII wieku rozebrano, stawiając w tym samym miejscu około 1450 roku świątynię murowaną. Składała się ona z kamienno-ceglanego prezbiterium i nawy głównej długiej na 20 i szerokiej na 8 metrów. Kościół posiadał również drewnianą dzwonnicę: Koło kościoła znajdował się ogrodzony płotem cmentarz, natomiast zasłużonych dla miasta obywateli grzebano pod prezbiterium lub pod dzwonnicą.

Pod koniec XVIII wieku w Rybniku coraz częściej mówiło się o potrzebie budowy nowego kościoła. Najgłośniej jednak sprawę tę podnosił ks. Feliks Reisner, który urząd rybnickiego proboszcza piastował od 1772 roku. Wszyscy zgadzali się, że kościół "na górce" przy ulicy Gliwickiej jest już za stary i za ciasny. Różnica zdań dotyczyła natomiast miejsca postawienia nowej świątyni. Rybnicki proboszcz ks. Feliks Reisner, burmistrz Jan Belling i większość rybniczan, chcieli, aby nowy kościół stanął bliżej Rynku. Sprzeciwił się temu kategorycznie dawniejszy właściciel Rybnika hrabia Antoni Węgierski, którego przodkowie pochowani byli w prezbiterium dotychczasowego kościoła. Problem rozwiązano polubownie w 1796 roku. Zdecydowano wówczas, że nowy kościół pod wezwaniem Matki Bożej Bolesnej powstanie bliżej Rynku. Natomiast z kościoła pod wezwaniem Wniebowzięcia NMP "na górce" przy ul. Gliwickiej zrobi się kaplicę cmentarną. W tym kształcie przetrwała ona do dnia dzisiejszego. Zatem uporowi hrabiego Węgierskiego Rybnik zawdzięcza swój najcenniejszy zabytek, który jednocześnie jest najstarszym wzmiankowanym w kronikach kościołem parafialnym na Górnym Śląsku.

źródło/www.bolesna-rybnik.pl