分析:(1)由f(x)是R上的奇函数,得f(0)=0,且f(-1)=-f(1);代入f(x)可得a、b的值;
(2)由f(x)的解析式,用单调性定义可以证明f(x)是定义域上的减函数;
(3)由f(mt2-2t)+f(1-t2)<0,可得f(mt2-2t)<-f(1-t2);
由f(x)是奇函数,得-f(1-t2)=f(t2-1),从而得f(mt2-2t)<f(t2-1);
由f(x)是减函数,得mt2-2t<t2-1恒成立,解得m的取值范围.
解答:解:(1)∵f(x)是R上的奇函数,∴f(0)=0,且f(-1)=-f(1);
即
=0,且
=-
;
解得a=2,b=1;
∴f(x)的解析式为f(x)=
;
(2)∵f(x)=
,
∴f(x)=-
=
-
是R上的减函数;
证明如下:在R上任取x
1<x
2,则f(x
1)-f(x
2)=(
-
)-(
-
)=
;
∵x
1<x
2,∴
2x2-
2x1>0,
2x1+1>0,
2x2+1>0,
∴
>0;即f(x
1)>f(x
2);
∴f(x)R上的减函数;
(3)∵f(mt
2-2t)+f(1-t
2)<0恒成立,∴f(mt
2-2t)<-f(1-t
2);
∵f(x)是奇函数,∴-f(1-t
2)=f(t
2-1),∴f(mt
2-2t)<f(t
2-1);
∴f(mt
2-2t)<f(t
2-1),
又∵f(x)是减函数,∴mt
2-2t>t
2-1,
即(m-1)t
2-2t+1>0恒成立,
∴
,解得m>2;
∴m的取值范围是{m|m>2}.
点评:本题考查了函数的奇偶性与单调性的性质和应用,以及不等式恒成立问题,是中档题.