Eu voltei a testar alguns modelos GGUF que eu tinha aqui há alguns meses, e eles estão bem melhores na inferência. O DarkPlanet-8B agora consegue fazer leitores de PDF em Python com interface de usuário, e foi na primeira tentativa.
Deve ser as melhoras no Transformers, llama.cpp e bitsandbytes.
Só queria compartilhar esse progresso.
You must log in or register to comment.