Artificial Intelligence (AI)
Disciplina che mira a far eseguire alle macchine compiti che normalmente richiedono intelligenza umana.
210 termini · 15 categorie
Tutti i termini dell'IA in inglese (l'uso standard) con definizioni semplici.
Disciplina che mira a far eseguire alle macchine compiti che normalmente richiedono intelligenza umana.
Sottocampo dell'IA in cui un sistema impara dai dati invece di essere programmato esplicitamente.
ML basato su reti neurali con molti strati sovrapposti.
IA specializzata in un singolo compito (es. giocare a scacchi).
IA ipotetica capace di svolgere qualsiasi compito intellettuale umano.
Usato in: ch.16
IA che supererebbe ampiamente l'intelligenza umana in tutti i campi.
Approccio classico basato su regole e logica formale.
Rappresentazione matematica appresa dai dati.
Fase in cui un modello addestrato produce previsioni.
Fase in cui il modello apprende dai dati.
Apprendimento su dati etichettati (input → output noto).
Apprendimento senza etichette; il modello scopre strutture nascoste.
Il modello genera da solo le proprie etichette a partire dai dati.
Usato in: ch.06
Apprendimento per tentativi ed errori con ricompense.
Usato in: ch.08
Riutilizzare un modello addestrato su un compito per un altro simile.
Apprendere da pochissimi esempi.
Riuscire in un compito senza aver visto alcun esempio durante l'addestramento.
«Imparare ad imparare» — addestrare un modello ad adattarsi rapidamente a nuovi compiti.
Addestramento distribuito senza centralizzare i dati.
Il modello apprende nuovi compiti senza dimenticare quelli precedenti.
Unità di calcolo di una rete, ispirata al neurone biologico.
Insieme di neuroni elaborati in parallelo.
Parametri che pesano le connessioni tra neuroni.
Termine costante aggiunto alla somma ponderata.
Funzione non lineare applicata all'uscita di un neurone.
Funzione di attivazione molto comune: max(0, x).
Punteggi grezzi prodotti dall'ultimo strato, prima che il softmax li trasformi in probabilità.
Trasforma un vettore in una distribuzione di probabilità.
Calcolo dell'uscita a partire da un input.
Calcolo dei gradienti per aggiornare i pesi.
Usato in: ch.06
Algoritmo che aggiusta i pesi per minimizzare l'errore.
Misura dell'errore tra previsione e valore reale.
Funzione di perdita standard per la classificazione.
Algoritmo che guida l'aggiornamento dei pesi (Adam, SGD, ecc.).
Ampiezza dei passi durante la discesa del gradiente.
Usato in: ch.06
Un passaggio completo sul set di addestramento.
Sottoinsieme di dati elaborato insieme.
Rete in cui le informazioni scorrono in un unico senso.
Rete feedforward classica con strati densi.
Specializzata per le immagini tramite filtri convoluzionali.
Elabora sequenze mantenendo uno stato interno.
Usato in: ch.04
RNN migliorata per memorizzare informazioni a lungo termine.
Usato in: ch.04
Architettura basata sull'attenzione, dominante nell'IA dal 2017.
Usato in: ch.01, ch.02, ch.04, ch.05, ch.07, ch.08, ch.10, ch.15, ch.17, ch.18, ch.20, ch.21
Ogni posizione di una sequenza calcola il proprio legame con tutte le altre posizioni della stessa sequenza.
Usato in: ch.01, ch.02, ch.03, ch.04, ch.05, ch.07, ch.08, ch.09, ch.10, ch.14, ch.15, ch.17, ch.18, ch.21
Attenzione in cui le query provengono da una sequenza e le chiavi/valori da un'altra — testo che guarda un'immagine, decoder che guarda l'encoder.
Più meccanismi di attenzione eseguiti in parallelo.
Architettura classica per traduzione e generazione di testo.
Usato in: ch.15
Architettura dei LLM moderni: un'unica pila di blocchi che genera un token alla volta, e ciascuno vede solo i precedenti.
Incorpora l'ordine delle parole in un Transformer.
Usato in: ch.05
Codifica di posizione rotazionale moderna, comune nei LLM.
Usato in: ch.05
Collegamento che salta alcuni strati per stabilizzare l'addestramento.
Normalizzazione per stabilizzare l'addestramento.
Architettura in cui per ogni token vengono attivate solo poche sotto-reti («esperti»), riducendo il calcolo.
Usato in: ch.05
Modello generativo che impara a rimuovere il rumore dai dati (immagine, audio, testo…) passo dopo passo.
Due reti in competizione (generatore vs discriminatore).
Transformer applicato alle immagini.
Architettura alternativa al Transformer per sequenze lunghe.
Disciplina che studia l'elaborazione del linguaggio naturale da parte delle macchine.
Usato in: ch.15
Suddivisione di un testo in unità (token).
Unità di base elaborata da un modello (parola, sotto-parola o carattere).
Usato in: ch.01, ch.02, ch.03, ch.04, ch.05, ch.06, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.13, ch.14, ch.15, ch.17, ch.18, ch.19, ch.20, ch.21
Algoritmo di tokenizzazione molto diffuso.
Usato in: ch.02
WordPiece: un altro algoritmo di tokenizzazione. SentencePiece: libreria che implementa BPE e Unigram.
Usato in: ch.02
Insieme dei token conosciuti dal modello.
Rappresentazione vettoriale densa di una parola o token.
Usato in: ch.01, ch.03, ch.04, ch.05, ch.10, ch.11, ch.15, ch.21
Misura la vicinanza di due vettori tramite l’angolo che li separa, senza considerarne la lunghezza.
Tecnica classica per generare embedding di parole.
Usato in: ch.03
Embedding che dipende dal contesto della frase.
Identificazione di entità nel testo (persone, luoghi…).
Rilevamento del tono emotivo di un testo.
Riconoscimento vocale (audio → testo).
Sintesi vocale (testo → audio).
Usato in: ch.15
Modello che stima la probabilità di una sequenza di parole.
Modello linguistico di grandi dimensioni addestrato su migliaia di miliardi di token.
Usato in: ch.01, ch.02, ch.03, ch.04, ch.05, ch.06, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.13, ch.15, ch.16, ch.17, ch.18, ch.20, ch.21
Modello generalista riutilizzabile per numerosi compiti.
IA capace di produrre contenuti (testo, immagine, audio…).
Addestramento iniziale su grandi quantità di dati grezzi.
Adattamento di un modello pre-addestrato a un compito specifico.
Usato in: ch.01, ch.06, ch.08, ch.09, ch.11, ch.13, ch.14, ch.19, ch.20
Fine-tuning per seguire istruzioni in linguaggio naturale.
Affinamento del modello tramite feedback umano.
Alternativa semplificata all'RLHF.
Metodo di allineamento basato su un insieme di principi.
Usato in: ch.08
Testo di input fornito al modello.
Usato in: ch.01, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.17, ch.18, ch.19, ch.20, ch.21
Istruzioni generali fornite al modello prima dell'interazione.
Arte di formulare prompt efficaci.
Tecnica per indurre il modello a ragionare passo dopo passo.
Generare più ragionamenti per la stessa domanda e tenere la risposta più frequente.
Usato in: ch.12
Inserire alcuni esempi direttamente nel prompt.
Capacità del modello di apprendere dagli esempi presenti nel prompt.
Quantità di testo che il modello può elaborare in una sola volta.
Controlla la casualità delle risposte (bassa = prevedibile, alta = varia; 0 = quasi deterministica).
Campionamento tra i k token più probabili.
Campionamento dal più piccolo insieme di token la cui probabilità cumulata raggiunge p (es. 0,9).
Scegliere sempre il token più probabile.
Usato in: ch.07
Esplora più sequenze candidate in parallelo.
Usato in: ch.07
Il modello inventa un'informazione falsa ma plausibile.
Il modello recupera documenti esterni prima di rispondere.
Suddividere i documenti in pezzi della giusta dimensione prima di indicizzarli — troppo grandi, il passaggio utile si perde; troppo piccoli, si perde il senso.
Seconda passata che riordina i documenti recuperati con un modello più fine, per far risalire quelli davvero pertinenti.
Usato in: ch.10
Database che archivia e interroga embedding vettoriali.
Ricerca per similarità di significato, non solo di parole.
LLM ottimizzato per ragionare a lungo prima di rispondere.
Token di ragionamento che un modello genera prima della risposta: una bozza interna, spesso nascosta o riassunta.
Usato in: ch.17
Calcolo speso al momento di rispondere anziché durante l'addestramento: lasciar ragionare più a lungo un modello ne migliora le risposte sui problemi difficili.
Usato in: ch.17
Modello che gestisce più tipi di input (testo, immagine, audio…).
Modello che comprende testo e immagini insieme.
Generazione di un'immagine a partire da un testo.
Tecnica di fine-tuning leggero basata su matrici a basso rango.
Usato in: ch.14
LoRA combinato alla quantizzazione per ridurre l'uso di memoria.
Famiglia di metodi di fine-tuning efficienti in termini di parametri.
Usato in: ch.14
Sistema IA che persegue un obiettivo attraverso più passi e strumenti.
Capacità del modello di chiamare funzioni esterne.
Usato in: ch.11
Pattern che alterna ragionamento e azione.
Usato in: ch.11
Capacità di un agente di scomporre un obiettivo in sotto-compiti.
Più agenti che collaborano o si coordinano.
Protocollo standard per connettere strumenti a un LLM.
Usato in: ch.11
Capacità di un agente di utilizzare un computer.
Usato in: ch.11
IA che agisce autonomamente in un ambiente.
Insieme di dati usato per addestrare o testare un modello.
Dati per addestrare, ottimizzare e valutare il modello.
Risposta corretta associata a un esempio.
Processo di assegnazione di etichette ai dati.
Creare varianti dei dati esistenti (rotazioni, parafrasi…) per arricchire l'addestramento.
Dati generati artificialmente, ad esempio tramite IA.
Variabile di input del modello.
Usato in: ch.20
Creazione manuale di variabili rilevanti per il modello.
Rappresentare una categoria come vettore binario.
Cambiamento progressivo dei dati rispetto a quelli di addestramento.
Fuga di informazioni dal set di test verso quello di addestramento (risultati falsamente buoni).
Parametro fissato prima dell'addestramento (tasso di apprendimento, dimensione del batch…).
Valutazione tramite multiple suddivisioni dei dati.
Il modello memorizza i dati di addestramento e generalizza male.
Usato in: ch.06
Il modello è troppo semplice per cogliere il segnale nei dati.
Tecniche che prevengono il sovra-adattamento.
Usato in: ch.06
Disattiva casualmente alcuni neuroni durante l'addestramento.
Interrompere l'addestramento quando l'errore di validazione smette di migliorare.
I gradienti diventano troppo piccoli per aggiornare i pesi.
Il modello dimentica compiti precedenti mentre ne apprende di nuovi.
Trasferire la conoscenza di un modello grande a uno piccolo.
Usato in: ch.21
Eliminare pesi superflui per alleggerire il modello.
Ridurre la precisione numerica dei pesi per risparmiare memoria.
Relazioni tra dimensione del modello, quantità di dati, calcolo e prestazioni.
Percentuale di previsioni corrette.
Tra le previsioni positive, quante sono effettivamente corrette.
Tra i casi realmente positivi, quanti il modello ne ritrova.
Media armonica di precisione e richiamo.
Tabella incrociata tra previsioni e valori reali.
Curva e area sotto la curva per valutare un classificatore.
Misura dell'incertezza di un modello linguistico (più bassa è, meglio è).
Metriche per traduzione automatica e riassunto.
Misura della qualità delle immagini generate.
Test standardizzato per confrontare i modelli (MMLU-Pro, SWE-bench, GPQA…).
Usato in: ch.16
Usare un LLM per valutare le risposte di un altro modello: rapido ed economico, ma con i propri pregiudizi.
Usato in: ch.16
Test avversariali per scoprire i punti deboli di un modello.
Entità che prende decisioni in un ambiente.
Mondo in cui l'agente opera.
Strategia dell'agente (stato → azione).
Segnale numerico che indica la qualità di un'azione.
Algoritmo di RL che impara a stimare il valore di ogni azione in ogni stato (la funzione Q).
Algoritmo RL molto utilizzato, anche nell'RLHF.
Dilemma tra esplorare il nuovo e sfruttare ciò che si conosce.
L'agente sfrutta la funzione di ricompensa in modo non previsto.
Usato in: ch.11
Campo dell'IA che elabora immagini e video.
Assegnare una categoria a un'immagine.
Localizzare e classificare oggetti in un'immagine.
Etichettare ogni pixel di un'immagine con una classe.
Riconoscimento del testo in un'immagine.
Modello che allinea immagini e testi in un unico spazio di embedding — il ponte che permette ai generatori di immagini di capire un prompt.
Modelli classici per il rilevamento di oggetti.
Modello universale di segmentazione.
Rappresentazione 3D di una scena appresa da immagini.
Far sì che l'IA persegua obiettivi coerenti con i valori umani.
Campo di studio volto a rendere l'IA affidabile e sicura.
Input progettato per ingannare un modello.
Aggirare i meccanismi di sicurezza di un LLM.
Usato in: ch.08
Istruzioni malevole nascoste in un contenuto che il modello elabora (pagina web, documento…) per dirottarne il comportamento.
Usato in: ch.12
Distorsione nei dati o nelle previsioni del modello.
Equità nelle decisioni algoritmiche.
Capacità di comprendere perché un modello prende una decisione.
Reverse engineering dei circuiti interni di una rete per capire gli algoritmi che ha appreso.
Rete che scompone le attivazioni di un modello in feature rade e interpretabili una per una.
Usato in: ch.20
Metodo formale di protezione della privacy dei dati.
Contenuto falsificato tramite IA.
Scarto tra ciò che il modello persegue davvero e le intenzioni di chi lo ha progettato.
Modello che prevede la qualità di una risposta secondo giudici umani.
Governance e regolamentazione dell'IA.
Processore grafico, ampiamente usato per l'IA.
Chip specializzato per l'IA progettato da Google.
Piattaforma di calcolo GPU di Nvidia.
Operazioni in virgola mobile al secondo.
Addestramento distribuito su più macchine.
Stessi pesi, dati diversi su ciascuna GPU.
Il modello è suddiviso su più GPU.
Principali framework di deep learning.
Piattaforma di modelli, dataset e strumenti ML.
Formato standard per lo scambio di modelli tra framework.
IA eseguita su dispositivi embedded.
Memoria delle chiavi e dei valori già calcolati durante la generazione: evita di rielaborare tutto il contesto a ogni nuovo token.
Un modello piccolo propone più token in anticipo e quello grande li convalida in un colpo solo: stesso output, latenza ridotta.
Tempo di risposta del modello.
Usato in: ch.18
Numero di inferenze al secondo.
Pratiche DevOps applicate al machine learning.
Capacità che sembrano comparire all'improvviso oltre una certa dimensione del modello (fenomeno dibattuto).
Usato in: ch.19
Aumentare dimensione, dati o calcolo per migliorare le prestazioni.
Modello i cui pesi sono pubblicamente disponibili.
Modello all'avanguardia nello stato dell'arte.
Modello linguistico compatto, ottimizzato per l'efficienza.
Inclusione dell'essere umano nel ciclo di apprendimento o di decisione.
Modello interno di un agente che prevede l'evoluzione dell'ambiente.
IA incorporata in un corpo fisico (robot).
Scheda descrittiva di un modello (capacità, limiti, bias).