Уф, поборол проблему.
И вот, как я этого добился.
Ядро скомпилировал с поддержкой framefb, в конфиге груба прописал

vga=796 video=vesafb:ywrap,mtrr

Вот собственно и вся премудрость. Но с ядром 2.6.15 работать на хотело. Но работало с 2.6.14 и с 2.6.16.