解:(1)如图

在Rt△AOC中,cos∠AOC=

,
∴OC:OA=4:5,
设OC=4x,则OA=5x,
∴AC=

=3x,
∴

•3x•4x=24,
∴x=2,
∴OC=8,AC=6,
∴A点坐标为(8,-6),
把A(8,-6)代入

,得m=-6×8=-48,
把A(8,-6)代入y=kx,得k=-

,
∴反比例函数与正比例函数的解析式分别为y=-

,y=-

x;
(2)∵正比例函数y=kx(k≠0)的图象与反比例函数

的图象交于A、B两点,
∴B点坐标为(-8,6),
S
△ANB=S
△ONB+S
△ONA=

×5×6+

×5×6=30;
(3)x<-8或0<x<8.
分析:(1)由cos∠AOC=

,根据三角函数的定义得到OC:OA=4:5,设OC=4x,则OA=5x,利用勾股定理计算出AC=3x,然后根据三角形的面积公式得到

•3x•4x=24,x=2,于是得到A点坐标为(8,-6),然后把A(8,-6)分别代入正比例函数y=kx(k≠0)与反比例函数

中,即可确定它们的解析式;
(2)由于A点与B点关于原点对称,则B点坐标为(-8,6),然后利用S
△ANB=S
△ONB+S
△ONA进行计算即可;
(3)观察图象可得当x<-8或0<x<8时,正比例函数y=kx(k≠0)的图象都在反比例函数

的图象的上方,于是得到

的解集.
点评:本题考查了反比例函数与一次函数的交点问题:反比例函数与一次函数的交点坐标同时满足两个函数的解析式.也考查了三角形面积公式、待定系数法求函数的解析式.