Creo que tienes la idea correcta.

No es necesario traducir palabra por palabra. Si se puede y queda bien, sí, pero si no, directamente se hace una paráfrasis.
Guardar lo completado sería una buena traducción para este contexto.

Esta sería otra posible opción, y veo que hay bastantes ejemplos de su uso en Google. Como se trata del nombre del botón, creo que estaría bien que fuese lo más breve posible.

http://movicoma.blogs.uoc.edu/interrupcion-cuestionario-indi...
"Ha decidido interrumpir el cuestionario y guardar las respuestas contestadas hasta el momento. Por favor, vuelve a utilizar el enlace que le enviamos en su correo electrónico para acabar de contestar el cuestionario cuando así lo desee."

http://www.autodiagnosticoprl.es/:
Una vez registrado en el sistema como usuario, podrá acceder a cada bloque temático en el orden que le interese y podrá guardar las respuestas y retomar el cuestionario cuando lo desee.