解:(1)设A(m,n),
∵A在正比例函数y=

x的图象上,
∴n=

m,
∴A(m,

m),
∴AM=

m,OM=m,
∵△AOM的面积为1,
∴

×

m×m=1,
解得:m=±2,
∵A在第一象限,
∴m=2,
∴A(2,1),
∵A点在反比例函数y=

(k≠0)的图象上,
∴k=2×1=2,

∴反比例函数关系式为:

;
(2)∵点B(-1,t)为反比例函数y=

在第三象限图象上的点,
∴t=

=-2,
∴B(-1,-2);
(3)作点A关于直线y的对称点A′,作直线A′B交y于P点,则点P为所求点,
∵A(2,1),
∴A′(-2,1),
设A′B的函数解析式为y=kx+b,
∵图象过A′(-2,1),B(-1,-2),
∴

,
解得:

,
∴A′B的函数解析式为y=-3x-5,
∴P(0,-5 ).
分析:(1)设A(m,n),A在正比例函数y=

x的图象上,可得到n=

m,进而得到A(m,

m),再根据△AOM的面积为1,可以求出m的值,进而得到A点坐标,再利用待定系数法算出反比例函数解析式;
(2)根据反比例函数解析式,把B点坐标代入即可算出t的值,进而得到B点坐标;
(3)作点A关于直线y的对称点A′,作直线A′B交y于P点,则点P为所求点,求出P点坐标即可.
点评:此题主要考查了反比例函数图象上点的坐标特点,待定系数法求函数解析式,最短线路问题,解答此题的难点是根据轴对称的性质画出图形,再由两点之间线段最短的知识求解.