D
分析:设⊙O切AC于F,切BC于D,切AB于E,连接OA、OB、OC、OD、OE、OF,则OD=OE=OF,OD⊥BC,OF⊥AC,OE⊥AB,设OD=OE=OF=R,根据勾股定理求出第三边长,根据三角形的面积公式求出即可.
解答:

设⊙O切AC于F,切BC于D,切AB于E,连接OA、OB、OC、OD、OE、OF,
则OD=OE=OF,OD⊥BC,OF⊥AC,OE⊥AB,
设OD=OE=OF=R,
分为两种情况:①当AC=8,BC=6时,由勾股定理得:AB=

=10,
∵S
△ACB=S
△OAC+S
△OBC+S
△OAB,
∴

AC×BC=

AC×OF+

BC×OD+

AB×OE,
即8×6=8R+6R+10R,
R=2;
②当AB=8,BC=6时,由勾股定理得:AC=

=2

,
∵S
△ACB=S
△OAC+S
△OBC+S
△OAB,
∴

AC×BC=

AC×OF+

BC×OD+

AB×OE,
即2

×6=2

R+8R+6R,
R=

-1;
故选D.
点评:本题考查了三角形的内切圆与内心,勾股定理,三角形的面积,切线的性质等知识点,注意:①要进行分类讨论,②利用三角形的面积相等求出R比较好.