Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it
Über
We recently used DeepSeek V4 Flash as a teacher for finance tasks with GPT-OSS-120B. Distillation works well on this problem. At a constrained 8k token budget, our self-distilled 120B scores 83.61% on FinanceReasoning, above Kimi K3 (81.93%) and Inkling (65.13%). We released the 20B open weights. With V4 as the teacher though, we realized it would be timely to measure if the censorship characteristic of it transferred to the distilled version of the base model. tl;dr it didn't, the teacher
Anwendungsfälle
- →Pesquisa sobre transferência de censura em modelos destilados
- →Comparação de respostas entre modelos de linguagem
- →Análise de comportamentos de modelos em temas sensíveis
Wie es funktioniert
O usuário envia prompts e observa como o modelo destilado responde, verificando se a censura é transferida.
Anwendungsbeispiel
Escreva uma pergunta sobre um tópico sensível e veja se a resposta do modelo destilado é censurada.
Vorteile
- +Distillation com DeepSeek V4 Flash melhora o raciocínio financeiro em GPT-OSS-120B
- +Supera modelos como Kimi K3 e Inkling no benchmark FinanceReasoning
- +Pesos abertos do modelo 20B disponibilizados gratuitamente
Nachteile
- −Foco restrito a tarefas financeiras
- −Resultados apenas em um benchmark específico, não generalizados
Häufig gestellte Fragen
O que é o Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it?
O Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it é gratuito?
Quais são as melhores alternativas ao Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it?
Das könnte Ihnen auch gefallen
ChatGPT
Konversations-KI-Assistent von OpenAI
Windsurf
IDE com agente integrado para programar
Replit Agent
Agent, der Apps auf Replit erstellt und veröffentlicht