Modelos LocaisBaixa importância
Advogado que montou servidor de IA com oito GPUs V100 usadas passa 80% do DeepSeek V4.1 Flash para 4 bits (NVFP4) e acrescenta 1 TB de RAM e uma RTX 3090
Segundo o Tom's Hardware, o advogado Nick Mermiges, de Columbia, na Carolina do Sul, fundador da PLI Labs, atualizou o servidor privado que usa no escritório com o DeepSeek V4.1 Flash e uma camada própria de fluxos e checagens jurídicas: cerca de 80% do trabalho passou de 2 bits para a precisão NVFP4, de 4 bits, e ele acrescentou 1 TB de RAM e uma RTX 3090. A geração de código caiu de 160–215 para 150–180 tokens por segundo, e os travamentos, antes atribuídos ao PCIe, provavelmente vinham de uma fonte com defeito. Ele diz que o Claude Code, com o Opus 5.5 e o Fable 5.2, escreveu os kernels e rodou os testes sob sua direção.
Publicado na edição nº 30 do Noticiário do Joãozinho ·
Fonte original
Tom's HardwareDiscussão no r/LocalLLaMA
https://www.tomshardware.com/tech-industry/artificial-intelligence/lawyer-upgrades-eight-v100-private-ai-server-to-run-80-percent-of-deepseek-v4-1-flash-at-4-bit-nvfp4-precision-adds-1tb-of-ram-an-nvidia-rtx-3090-and-fixes-crashes-caused-by-a-bad-psu