Deine Annahme ist schon richtig. Je größer die Zahl, z.B. 80/160/200/400/1000er-Papier, desto feiner ist der Schliff. Die Zahl gibt die Anzahl der Körner pro - ich glaube - cm² an.
Entsprechend sind 80 Körner natürlich gröber als 400 oder gar 1000.
Wie gesagt, es kommt drauf an, was du noch damit vorhast, bzw. wie die Stelle weiterverarbeitet werden soll.
Fang mit grobem Papier an und schleif dich hoch bis eine Oberfläche entsteht, die glatt genug für deine Zwecke ist. Ausprobieren kannst übrigens natürlich auch, indem du ein bißchen Spachtel auf einem alten Brett verteilst und da ein wenig schleifen übst...