Modelos Locais Estão Chegando

Mesmo resultado que modelo de fronteira, em 15x o tempo.

Ontem, tinha um servidor executando um contêiner Docker que mesmo com o mapeamento de portas, não conseguia acessar o serviço pelo localhost da máquina. docker ps mostrava o contêiner em execução, com a porta mapeada. Disparei uma seção de Claude Code para averiguar. Rapidamente, em coisa menos de 2 minutos, o Opus 5.5 fez o seguinte:

1. Repetiu o teste com curl no servidor, sem sucesso.
2. Entrou no contêiner e executou o mesmo teste, obtendo resposta.

Daí concluiu que o problema não era o contêiner, por alguma razão o sistema Linux do servidor não enviava pacotes para o contêiner, ou não encaminhava os pacotes de resposta para o processo adequado. Fez uma verificação com ip route e descobriu que havia duas rotas para a mesma rede que o contêiner utilizava. Uma rota própria da rede virtual do Docker. Outra, para uma conexão VPN. Por coincidência, acabaram usando a mesma faixa. Este é um problema bem difícil de detectar, mas o Claude rapidamente descobriu a razão e forneceu sugestões para solucionar.

Pensei então, que tal um modelo local? Usei o Qwen3.8-27B com quantização de 4 bits. Executando no oMLX do meu Mac, ocupou ali uns 24 GB de memória. Passei o mesmo prompt, ativei o thinking e esperei. Esperei. E esperei. Fui vendo o raciocínio desenrolar na tela, passaram cerca de 20 a 30 minutos para chegar na mesma conclusão do Claude. Mas chegou, e forneceu a mesma solução. Então, neste caso específico, o modelo local teve a mesma qualidade, apesar de um desempenho de 15x pior. Essa velocidade torna impraticável para atividades complexas com uma base de código extensa, mas meio que mostra que os modelos abertos estão na direção de oferecer qualidade comparável. O problema é o hardware para executá-los.