Respuesta corta: No.

Los errores 404 son algo normal dentro de la web, internet está siempre cambiando, se crea contenido constantemente y otro se elimina. Cuando un contenido se elimina devuelve un error 404 (En el caso ideal). Los motores de búsqueda saben esto y son capaces de manejarlo. De hecho es lo mejor, si una página no existe que devuelva un error 404 en lugar de un 404 leve (que es cuando devuelve un código de error 200 pero mostrando un mensaje de que el contenido no se encuentra).