Там проблема именно в сервере, если запустить на чистом, после переустановки apt update && apt upgrade -y то прям пол часа делает..проверил на других своих vps( там быстро) . Может не удачный мне попался, или у них временный сбой.