基本は練習が重要ですが、ある程度の手順はあるので、これは知っておいて損はないと思います。

①共通因数でくくる
②因数分解の公式の利用
③たすきがけ
④次数の一番低い文字について、降べきの順に整理する

例えば ax-x+ay-y は全体に共通する因数はないので①はスルー。
因数分解の公式、たすきがけも適用できなそうなので②、③もスルー。
従って④に注意。
とはいっても、a、x、yのいずれもが1次なので、この問題の場合はどれでも構いません。
今回はaについて整理してみると、

ax-x+ay-y = a(x+y) – (x+y) = (x+y)(a-1)

となります。

また、x^3-2x^2y-4x+8y も同じように考えて①、②、③はスルー。
④を考えるときに、xを文字としてみれば3次式、yは1次式なので、yについて整理します。

x^3-2x^2y-4x+8y

= -2y(x^2 -4) + (x^2 -4)x

= (x^2 -4)(-2y+x)

= (x-2)(x+2)(x-2y)

となります。