解:(1)当a=1,且b=-2时,x′=1×0+(-2)×1=-2,y′=1×0-(-2)×1=2,
则τ(0,1)=(-2,2);
(2)∵τ(1,2)=(0,-2),
∴

,
解得a=-1,b=

;
(3)∵点P(x,y)经过变换τ得到的对应点P'(x',y')与点P重合,
∴τ(x,y)=(x,y).
∵点P(x,y)在直线y=2x上,
∴τ(x,2x)=(x,2x).
∴

,
即

∵x为任意的实数,
∴

,
解得

.
∴

,

.
故答案为:(-2,2);-1,

.
分析:(1)将a=1,b=-2,τ(0,1),代入

,可求x′,y′的值,从而求解;
(2)将τ(1,2)=(0,-2),代入

,可得关于a,b的二元一次方程组,解方程组即可求解;
(3)由点P(x,y)经过变换τ得到的对应点P'(x',y')与点P重合,可得τ(x,y)=(x,y).根据点P(x,y)在直线y=2x上,可得关于a,b的二元一次方程组,解方程组即可求解.
点评:考查了一次函数综合题,关键是对题意的理解能力,具有较强的代数变换能力,要求学生熟练掌握解二元一次方程组.