やめる方法はあります。

まず、連帯保証をしている額を全て返済した場合には、その借金がなくなりますので、連帯保証人ではなくなります。

もし、借金を残したまま連帯保証人としての立場を解任してもらう場合には、代理の連帯保証人を立てたり、物的担保（家や車など）を設定したりしなければならないでしょう。
ただ、どういった方法で連帯保証人を解任できるかは、個々の借金の契約内容による場合もありますので、一度、契約書を見直してみましょう。

契約書の内容がわかりにくく、理解が難しい場合や、連帯保証人の解任にお悩みの場合には、一度契約書を持って、専門家に相談してみるのもひとつの方法です。