Na prawym brzegu Wilii, w miejscu, gdzie wpada do niej rzeczka Mussa, leżą Czabiszki (lit. Čiobiškis), niewielka miejscowość, w której zachował się klasycystyczny pałacyk. Zbudowano go w 1794 roku według projektu wileńskiego architekta, Wawrzyńca Gucewicza, dla ówczesnego właściciela Czabiszek, Stefana Szwykowskiego, skarbnika powiatu trockiego.
W rozległym parku, wśród starych drzew stanął na planie wydłużonego prostokąta budynek parterowy, trzynastoosiowy, pokryty dachem gładkim, dwuspadowym. W części centralnej znalazł się od frontu trzyosiowy, dwukondygnacyjny ryzalit, z dwoma doryckimi półkolumnami w wielkim porządku i dwoma pilastrami na narożach. Podpierały one belkowanie zawierające szeroki fryz z tryglifami. Całość wieńczył ogzymsowany, trójkątny przyczółek z okulusem pośrodku. Podobny ryzalit zdobił elewację ogrodową, ale w nim, między półkolumnami, znalazł się na piętrze mały balkon otoczony żeliwną balustradą. Części parterowe, o narożach boniowanych, posiadały w każdej elewacji po pięć dużych prostokątnych okien, podzielonych na osiem kwater. Ponad nimi biegł fryz z tryglifami oraz kroksztynowy gzyms. Szerokie, pięcioosiowe elewacje boczne zamykały trójkątne szczyty, otoczone także gzymsem kroksztynowym. Znajdowały się w nich duże, półokrągłe okna pośrodku, a po bokach – dwa małe okulusy. W późniejszym okresie do elewacji bocznej prawego skrzydła dobudowano drewnianą, przeszkloną werandę, a jeszcze później, w czasach już nam współczesnych dostawiono do lewego skrzydła szpecącą pałac przybudówkę. Jednocześnie z budową pałacu wzniesiono dwa duże budynki, zaprojektowane prawdopodobnie również przez Wawrzyńca Gucewicza, o czym świadczyć może ich klasycystyczny styl. Jeden z nich pełnił rolę oficyny, w drugim mieściły się stajnie.
W 1815 roku majątek Czabiszki kupił od spadkobierców Stefana Szwykowskiego Jan Chryzostom Piłsudski (1760–1832) herbu Kościesza, poseł na Sejm Czteroletni, marszałek szlachty ziemi telszewskiej, właściciel majątku Szyłele na Żmudzi, żonaty wówczas z Bogumiłą ze Strutyńskich, którą wykradł z klasztoru, gdzie umieścili ją rodzice, Katarzyna z Żabów i Ildefons Strutyński, generał wojsk koronnych. Wcześniej, prawdopodobnie w roku 1780, Jan Chryzostom Piłsudski ożenił się z jej starszą siostrą, Heleną, która po trzech latach małżeństwa zmarła. Związek małżeński z młodszą siostrą również nie przetrwał długo, doszło bowiem do rozwodu i to kościelnego na wniosek żony. Zdążył jednak mieć z nią trójkę dzieci, w tym syna Stanisława, który powinien zostać spadkobiercą majątku, gdyż dwóch synów z pierwszego małżeństwa zmarło w młodym wieku, a trzeci związek małżeński, zawarty w 1822 roku z młodszą o 34 lata Antoniną Bortkkiewicz herbu Lubicz, okazał się bezdzietny. Stanisław Piłsudski nie został jednak panem na Czabiszkach z powodu hulaszczego trybu życia. Jan Chryzostom nie jemu, lecz jego synowi, a swojemu wnukowi, Stefanowi Aleksandrowi Franciszkowi Piłsudskiemu (1823–1864), ożenionemu w 1844 roku z Melanią z Römerów herbu Dwie Laski, zostawił w spadku dobra Czabiszki o powierzchni 6000 hektarów, w skład których wchodziło 7 folwarków z 17 wsiami i zaściankami oraz majątek Szyłele o powierzchni ok. 2000 hektarów. Spośród czworga dzieci Melanii i Stefana Piłsudskich majątek Czabiszki otrzymał drugi z kolei syn, Konstanty Aleksander (1852–1903) żonaty z Eugenią z Olszewskich. Eugenia i Konstanty Aleksander Piłsudscy mieli również czworo dzieci i spośród nich również drugi z kolei syn, Konstanty junior został posiadaczem Czabiszek. Nie nacieszył się jednak nimi długo. Jak doniósł 29 listopada 1909 roku "Głos Warszawy" (za "Gońcem Wileńskim") sprzedał on ten majątek, liczący wówczas 1500 dziesięcin (ok. 1640 ha) za 150 000 rubli A. Afanasjewowi. Nim do tego doszło Stefan Dominik Piłsudski, wnuk Stefana Aleksandra, zabrał z czabiskiego pałacyku rodzinne archiwum, chroniąc go przed rozproszeniem. Dokumenty te weszły w skład Archiwum Rodziny Piłsudskich Giniatowiczów z linii czabisko–szyłelskiej, które przechowywane jest w Archiwum Głównym Akt Dawnych w Warszawie.
Po zakończeniu I wojny światowej czabiski majątek został rozparcelowany przez władze litewskie. W 1920 roku Czabiszki znalazły się na terytorium Rzeczypospolitej Polskiej, a w pałacyku urządzono w 1923 roku sierociniec. Podczas II wojny światowej pałac nie został uszkodzony i po wojnie nadal mieścił się w nim dom dziecka oraz szkoła podstawowa dla dzieci specjalnej troski. Przed kilku laty pałac opustoszał i zaczął popadać w ruinę. Obecnie jest on własnością państwowego banku, który wystawił go na sprzedaż. Niestety, cały zespół pałacowy jest zdewastowany – jak pokazują zdjęcia – i trzeba będzie włożyć wiele pracy i pieniędzy, żeby przywrócić mu dawny blask.