🚀 Funzionalità Fino al 70% di riduzione dei token: Riduci i costi delle API e accelera l'inferenza locale. Multilingue: Supporto per oltre 50 lingue (inglese, italiano, francese, ecc.) tramite i modelli Catalyst. Livelli di compressione: Scegli tra Light, Semantic o Aggressive (Lemmatizzazione). Integrazione LLM con Semantic Kernel: Ottimizzato per modelli di nuova generazione che comprendono perfettamente il linguaggio contratto.
🛠️ Installazione dotnet add package Caveman --version 1.0.2
Quick Start
csharp
🌿 Sostenibilità: perché è importante Ogni token generato o processato da un LLM ha un costo ambientale. Caveman v1.1 introduce un estimatore integrato basato su medie di settore:
Consumo energetico: Stimato in 5 mWh per token. Impronta di carbonio: Stimata in 0,4 mg di CO₂ per mWh.
Comprimendo un prompt da 1000 a 400 token, si risparmiano circa 3 mWh di energia. Su scala di milioni di richieste, Caveman contribuisce a costruire un ecosistema AI più sostenibile.
📊 Livelli di compressione NLP
| LivelloLogica applicataTag POS rimossi (Filtri)Risparmio | |||
| Light | Rimozione stopword | DET, ADP, CCONJ, SCONJ, PRON, PUNCT | ~25–30% |
| Semantic | Selezione contenuto chiave | Mantiene solo NOUN, VERB, ADJ, PROPN, ADV | ~50% |
| Aggressive | Lemmatizzazione | Mantiene solo NOUN, VERB, PROPN (forma base) | ~70% |
🔍 Dettaglio tecnico tag (mappatura Catalyst)
| Tag POSCategoriaEsempi (ENG/ITA)Trattamento | |||
| DET | Determinanti | the, a / il, lo | Rimosso (in Light) |
| ADP | Preposizioni | of, at / di, a | Rimosso (in Light) |
| CCONJ | Congiunzioni coordinanti | and, or / e, o | Rimosso (in Light) |
| SCONJ | Congiunzioni subordinanti | that, if / che, se | Rimosso (in Light) |
| PRON | Pronomi | I, you / io, tu | Rimosso (in Light) |
| NOUN | Sostantivi | house, pizza / casa, pizza | Sempre mantenuto |
| VERB | Verbi | eat, runs / mangiare, corre | Sempre mantenuto |
| ADV | Avverbi | not, quickly / non, molto | Mantenuto in Semantic |
💡 Esempio di trasformazione
| StatoTesto del promptToken / Caratteri | ||
| Originale | "I would like to know if it is possible to have a margherita pizza immediately." | 100% (78 ch) |
| Light | "like know possible have margherita pizza immediately" | ~70% (54 ch) |
| Semantic | "know possible have margherita pizza immediately" | ~55% (48 ch) |
| Aggressive | "know possible have margherita pizza" | ~40% (38 ch) |
💡 Nuova funzionalità introdotta in versione 1.0.2: Caveman.Wiki
Scopo Generare automaticamente documentazione in markdown ottimizzata per AI per qualsiasi progetto software, comprimendo semanticamente i contenuti per ottimizzare il contesto dei prompt LLM.
Come funziona
- Analisi del progetto: Rileva automaticamente il tipo di progetto (C#, Python, Node.js, ecc.) scansionando i file di configurazione (.csproj, requirements.txt, package.json, ecc.).
- Scansione file: Attraversa ricorsivamente la cartella, applicando filtri intelligenti per escludere file binari, cartelle di build e dipendenze esterne.
- Estrazione dipendenze: Analizza i file di progetto per estrarre pacchetti e versioni, organizzandoli per fonte (NuGet, PyPI, npm, ecc.).
- Compressione contenuti: Per file >2KB, utilizza CavemanCompressionService con livello Semantic per ridurre il numero di token preservando il significato.
- Output Markdown: Genera un documento strutturato con:
- Metadati del progetto in formato YAML
- Elenco delle dipendenze organizzato
- Vista ad albero della struttura dei file
- Contenuti dei file con evidenziazione della sintassi
- Riepilogo statistico
Vantaggi per l'AI ✅ Contesto completo in formato leggibile ✅ Ottimizzato in token tramite compressione semantica ✅ Struttura prevedibile per parsing automatico ✅ Metadati leggibili dalle macchine per sistemi RAG
Esempio d'uso
csharp
🤝 Contribuire Le pull request sono benvenute! Per modifiche importanti, apri prima un issue per discutere cosa vorresti cambiare.
Le pull request sono benvenute! Per modifiche importanti, apri prima un issue per discuterne.