Show HN: Clippy – screen-aware voice AI in the browser
4.2(10,000 件のレビュー)
フリーミアム
2026年にリリース
Sobre
A friend and I built a browser prototype that answers questions about whatever’s on your screen using getDisplayMedia, client-side wake-word detection, and server-side multimodal inference.<p>Hard parts:<p>– Getting the model to point to specific UI elements<p>– Keeping it coherent across multi-step workflows (“Help me create a sword in Tinkercad”)<p>– Preventing the infinite mirror effect and confusion between window vs full-screen sharing<p>– Keeping voice → screenshot → inference → voice late
長所
- +Resposta personalizada para perguntas sobre o conteúdo da tela
- +Detecção de palavra-chave localizada no lado do cliente
- +Inferência multimodal no lado do servidor
短所
- −Limitações em identificar elementos UI específicos
- −Desafios em manter a coerência em fluxos de trabalho multi-passo
- −Risco de efeito espelho infinito e confusão entre compartilhamento de janela e tela completa