富岡製糸場、世界遺産になってから3年で観光客激減 何が悪かったのか