Pierwszym znanym z imienia właścicielem Andrychowa był rycerz Czadro, zwany również Czamborem, którego podpis widnieje na dokumencie z 1366 r., a następnym jego syn – Pełka (1395). Kolejnymi właścicielami Henrychowa, czy też Hendrychowa byli Jeszko, zwany także Jaśkiem oraz Henryk. Ok. 1470 r. Jan Długosz w "Liber beneficiorum dioecesis Cracoviensis" wymienił natomiast jako dziedzica Gendrzychowa, wsi położonej w parafii Wieprz, Mikołaja Szaszowskiego, szlachcica z rodu Kopaczów. Ów Szaszowski był ponadto właścicielem okolicznych dóbr w Gierałtowicach, Smolicach, Przybradzu i części Wieprza. W omawianym okresie tereny Andrychowszczyzny były bardzo słabo zaludnione. Jedną z przyczyn takiego stanu rzeczy były liczne bandy rozbójników, grasujące na terenie księstw oświęcimskiego i zatorskiego, które znajdowały się na pograniczu Korony Polskiej i Śląska. Podobnie jak w sąsiednich księstwach śląśkich również tu rozbojem zajmowało się także rycerstwo, a między książętami często dochodziło do zbrojnych starć.