解：（1）设直线AB的解析式为y=kx+b，将A（0，2），B（2，0）代入解析式中y=kx+b，得
，解得，
∴直线AB的解析式为，
将D（-1，a）代入得，a=，
∴点D坐标为（-1，），
将D（-1，）代入中得，，
∴反比例函数的解析式为；
（2）解方程组，得，,
∴点C坐标为（3，），
过点C作CM⊥轴于点M，则在Rt△OMC中，
CM=，OM=3，
∴，
∴，
在Rt△AOB中，，
∴，
∴∠ACO=∠ABO-∠COE=30°；
（3）如图，∵OC′⊥AB，∠ACO=30°，
∴α=∠COC′=90°-30°=60°，∠BOB′==60°，
∴∠AOB′=90°-∠BOB′=30°，
∵∠OAB=90°-∠ABO=30°，
∴∠AOB′=∠OAB，
∴AB′=OB′=2，
答：当α为60度时OC′⊥AB，此时线段AB′的长为2。