Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it
Tentang
We recently used DeepSeek V4 Flash as a teacher for finance tasks with GPT-OSS-120B. Distillation works well on this problem. At a constrained 8k token budget, our self-distilled 120B scores 83.61% on FinanceReasoning, above Kimi K3 (81.93%) and Inkling (65.13%). We released the 20B open weights. With V4 as the teacher though, we realized it would be timely to measure if the censorship characteristic of it transferred to the distilled version of the base model. tl;dr it didn't, the teacher
Kasus Penggunaan
- →Pesquisa sobre transferência de censura em modelos destilados
- →Comparação de respostas entre modelos de linguagem
- →Análise de comportamentos de modelos em temas sensíveis
Cara Kerja
O usuário envia prompts e observa como o modelo destilado responde, verificando se a censura é transferida.
Contoh Penggunaan
Escreva uma pergunta sobre um tópico sensível e veja se a resposta do modelo destilado é censurada.
Kelebihan
- +Distillation com DeepSeek V4 Flash melhora o raciocínio financeiro em GPT-OSS-120B
- +Supera modelos como Kimi K3 e Inkling no benchmark FinanceReasoning
- +Pesos abertos do modelo 20B disponibilizados gratuitamente
Kekurangan
- −Foco restrito a tarefas financeiras
- −Resultados apenas em um benchmark específico, não generalizados
Pertanyaan yang Sering Diajukan
O que é o Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it?
O Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it é gratuito?
Quais são as melhores alternativas ao Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it?
Anda Mungkin Juga Suka
ChatGPT
Assistente de IA conversacional da OpenAI
Windsurf
IDE com agente integrado para programar
Replit Agent
Agen yang membuat dan mempublikasikan aplikasi di Replit