speculative-checkpointing

llama.cpp speculative checkpointing was merged

Die "speculative checkpointing"-Funktion wurde in llama.cpp integriert und bietet potenzielle Geschwindigkeitsvorteile. Während einige Prompts, wie beim Codieren mit optimierten Parametern, eine Beschleunigung von 0% bis 50% erfahren können, profitieren andere möglicherweise nicht aufgrund geringer Entwurfsakzeptanzraten.