泉州地方での石工集団の活動を示す最古の例としては古墳時代前期末の堺市二本木山古墳の刳抜式石棺と中期初頭に属する堺市乳岡古墳（百舌鳥古墳群の中の１つである）の長持形石棺がいずれも和泉砂岩製であり、この石材が産出される泉州地方南部で石工が活動し始めた証拠とされる。古墳時代後期においては泉州地方の最大の群集墳である和泉市信太千塚古墳群を始め、この付近の多くの古墳の石室構造にも和泉砂岩が使用されている。また7世紀に建立された泉南市海会寺の礎石にも和泉砂岩が使用されていることが知られている。文献においても9世紀初頭の新撰姓氏録の和泉国神別の条に石作連という氏族が記載されている。しかし、これらの古墳や古代寺院での石材の使用例は供給先がいずれも和泉国（泉州地方）内の限られた狭い範囲であり、はるか後の時代ように数多くの石材製品を他地方に搬出したり、各地に出稼ぎに出たりするような規模の石工集団ではなかったのは明らかである。泉州の石工集団が本格的に活動を開始した時期を示すのは隣国、紀州にある霊場、高野山の中世の五輪塔群である。高野山の西南院には鎌倉時代の弘安期（1278年～1288年）前後の年号日付の有る和泉砂岩の五輪塔4基が存在する。それ以降、和泉砂岩で製作された五輪塔、宝篋印塔が高野山内に多数造立されているようである。有名な戦国大名のものとしては武田信玄の天正元年（1573年）の日付の和泉砂岩製五輪塔も存在する。高野山以外においても、戦国時代から江戸時代にかけては近畿各地に和泉砂岩製の一石五輪塔が搬出されており、かなり離れた近江（滋賀県）地方の琵琶湖沿岸にも和泉砂岩の一石五輪塔が大量に搬入された形跡があると言う。三重県伊勢市荒木田では天正8年（1580年）日付と石屋大工敬白／泉州日根郡鳥取庄の刻印のある和泉砂岩製宝篋印塔が造立されており、形状は高野山の同時期のものと全く同型であるという。さらに、17世紀初めには和泉砂岩石塔は江戸にも搬入されている形跡があると言う。和泉砂岩の石材としての当時の評価についていえば、現在の日本国内で流通している石材で最も高価なものは香川県の庵治石（花崗岩）とされるが、1879年（明治12年）の庵治石産出表によると庵治石は上等の石材だが和泉の石よりは一等下につくとしており、軟質で細密な加工がしやすく、しかも、加工直後には見栄えも良い和泉砂岩は近世には石材として高い評価があったようであり、それを加工する泉州石工への評価をも高める役割を果たしたと言える。また一方、泉州出身の石工集団はその出稼ぎ先や移住先では硬質な花崗岩など現地の石材の加工にも積極的に取り組んだようである。

日本の石材工芸の三大産地は愛知県岡崎、香川県庵治・牟礼、茨城県真壁とされるがその内、岡崎市石屋町通りと現在の香川県高松市の庵治町・牟礼町の石材加工業は泉州の石工がその地方に移住したことに始まると言われている。

泉州石工の出稼ぎと移住の時期について言えば、岡崎では近世初期の岡崎城の修築、仙台では同じく近世初期の伊達政宗による仙台城築城をきっかけとしたとされるが、庵治・牟礼の場合は文化11年（1814年）、高松藩（当時の藩主は松平頼儀）による屋島東照宮の造営によるものであり、200年もの年代差があり、非常に長期間にわたって広範囲に泉州地方から石工の出稼ぎが行なわれたことを示している。