しかし、この頃の外材は外貨の変動に合わせ、流通価格が大きく変動し、仕事は山のようにあったのですが、挽けば挽くほど赤字が出ました。
そのため、小さな製材業はどんどんと廃業へと追いやられ、宍粟市でも１２０社あった製材所が３分の１以下になっております。

さらに万博を成功させ高度経済成長期にあった日本を昭和４６年にドルショック、昭和４８年にオイルショックが襲い、経営的に衰弱していたこれらの製材所は、ほとんどが倒産・廃業・転業などしていきました。
このときにヤマヒロも製材業が立ち行かなくなりました。
こうして昭和４８年に、その頃にお付き合いをさせていただいていた木材問屋さんのご好意のおかげで不渡りだけは免れましたが、ヤマヒロは製材と建材卸業を廃業をしております。
この木材卸問屋さんに建材部門を吸収合併された形で、建築部門のみ屋号の延命が図られ昭和５１年、完全に建築部門だけになっての再スタートを切ることとなったのです。