Artificial Intelligence (AI)
Disciplina che mira a far eseguire alle macchine compiti che normalmente richiedono intelligenza umana.
196 termini · 15 categorie
Tutti i termini dell'IA in inglese (l'uso standard) con definizioni semplici.
Disciplina che mira a far eseguire alle macchine compiti che normalmente richiedono intelligenza umana.
Sottocampo dell'IA in cui un sistema impara dai dati invece di essere programmato esplicitamente.
ML basato su reti neurali con molti strati sovrapposti.
IA specializzata in un singolo compito (es. giocare a scacchi).
IA ipotetica capace di svolgere qualsiasi compito intellettuale umano.
Usato in: ch.16
IA che supererebbe ampiamente l'intelligenza umana in tutti i campi.
Approccio classico basato su regole e logica formale.
Rappresentazione matematica appresa dai dati.
Fase in cui un modello addestrato produce previsioni.
Fase in cui il modello apprende dai dati.
Apprendimento su dati etichettati (input → output noto).
Apprendimento senza etichette; il modello scopre strutture nascoste.
Il modello genera da solo le proprie etichette a partire dai dati.
Usato in: ch.06
Apprendimento per tentativi ed errori con ricompense.
Usato in: ch.08
Riutilizzare un modello addestrato su un compito per un altro simile.
Apprendere da pochissimi esempi.
Riuscire in un compito senza aver visto alcun esempio durante l'addestramento.
«Imparare ad imparare» — addestrare un modello ad adattarsi rapidamente a nuovi compiti.
Addestramento distribuito senza centralizzare i dati.
Il modello apprende nuovi compiti senza dimenticare quelli precedenti.
Unità di calcolo di una rete, ispirata al neurone biologico.
Insieme di neuroni elaborati in parallelo.
Parametri che pesano le connessioni tra neuroni.
Termine costante aggiunto alla somma ponderata.
Funzione non lineare applicata all'uscita di un neurone.
Funzione di attivazione molto comune: max(0, x).
Trasforma un vettore in una distribuzione di probabilità.
Calcolo dell'uscita a partire da un input.
Calcolo dei gradienti per aggiornare i pesi.
Usato in: ch.06
Algoritmo che aggiusta i pesi per minimizzare l'errore.
Usato in: ch.01, ch.03, ch.04, ch.05, ch.06, ch.08, ch.14, ch.21
Misura dell'errore tra previsione e valore reale.
Funzione di perdita standard per la classificazione.
Algoritmo che guida l'aggiornamento dei pesi (Adam, SGD, ecc.).
Ampiezza dei passi durante la discesa del gradiente.
Usato in: ch.06
Un passaggio completo sul set di addestramento.
Sottoinsieme di dati elaborato insieme.
Rete in cui le informazioni scorrono in un unico senso.
Rete feedforward classica con strati densi.
Specializzata per le immagini tramite filtri convoluzionali.
Elabora sequenze mantenendo uno stato interno.
Usato in: ch.04
RNN migliorata per memorizzare informazioni a lungo termine.
Usato in: ch.04
Architettura basata sull'attenzione, dominante nell'IA dal 2017.
Usato in: ch.01, ch.02, ch.04, ch.05, ch.07, ch.08, ch.10, ch.15, ch.17, ch.18, ch.20, ch.21
Ogni posizione di una sequenza si relaziona con tutte le altre.
Usato in: ch.01, ch.03, ch.04, ch.05, ch.07, ch.08, ch.09, ch.15, ch.17, ch.18, ch.21
Più meccanismi di attenzione eseguiti in parallelo.
Architettura classica per traduzione e generazione di testo.
Usato in: ch.15
Incorpora l'ordine delle parole in un Transformer.
Usato in: ch.05
Codifica di posizione rotazionale moderna, comune nei LLM.
Usato in: ch.05
Collegamento che salta alcuni strati per stabilizzare l'addestramento.
Normalizzazione per stabilizzare l'addestramento.
Più sotto-modelli specializzati attivati selettivamente.
Usato in: ch.05
Modello generativo che impara a de-rumorare un'immagine passo dopo passo.
Due reti in competizione (generatore vs discriminatore).
Transformer applicato alle immagini.
Architettura alternativa al Transformer per sequenze lunghe.
Disciplina che studia l'elaborazione del linguaggio naturale da parte delle macchine.
Usato in: ch.15
Suddivisione di un testo in unità (token).
Unità di base elaborata da un modello (parola, sotto-parola o carattere).
Usato in: ch.01, ch.02, ch.03, ch.04, ch.05, ch.06, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.13, ch.14, ch.15, ch.17, ch.18, ch.19, ch.20, ch.21
Algoritmo di tokenizzazione molto diffuso.
Usato in: ch.02
Altri algoritmi di tokenizzazione.
Usato in: ch.02
Insieme dei token conosciuti dal modello.
Rappresentazione vettoriale densa di una parola o token.
Usato in: ch.01, ch.03, ch.04, ch.05, ch.10, ch.11, ch.15, ch.21
Tecnica classica per generare embedding di parole.
Embedding che dipende dal contesto della frase.
Identificazione di entità nel testo (persone, luoghi…).
Rilevamento del tono emotivo di un testo.
Riconoscimento vocale (audio → testo).
Sintesi vocale (testo → audio).
Usato in: ch.15
Modello che stima la probabilità di una sequenza di parole.
Modello linguistico di grandi dimensioni addestrato su miliardi di parole.
Usato in: ch.01, ch.02, ch.03, ch.04, ch.05, ch.06, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.13, ch.15, ch.16, ch.17, ch.18, ch.20
Modello generalista riutilizzabile per numerosi compiti.
IA capace di produrre contenuti (testo, immagine, audio…).
Addestramento iniziale su grandi quantità di dati grezzi.
Adattamento di un modello pre-addestrato a un compito specifico.
Usato in: ch.01, ch.08, ch.09, ch.11, ch.13, ch.14, ch.17, ch.19, ch.20
Fine-tuning per seguire istruzioni in linguaggio naturale.
Affinamento del modello tramite feedback umano.
Alternativa semplificata all'RLHF.
Metodo di allineamento basato su un insieme di principi.
Usato in: ch.08
Testo di input fornito al modello.
Usato in: ch.01, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.17, ch.18, ch.21
Istruzioni generali fornite al modello prima dell'interazione.
Arte di formulare prompt efficaci.
Usato in: ch.12
Tecnica per indurre il modello a ragionare passo dopo passo.
Inserire alcuni esempi direttamente nel prompt.
Capacità del modello di apprendere dagli esempi presenti nel prompt.
Quantità di testo che il modello può elaborare in una sola volta.
Controlla la casualità delle risposte (bassa = deterministica, alta = creativa).
Campionamento tra i k token più probabili.
Campionamento da un sottoinsieme che cumula il p% di probabilità.
Scegliere sempre il token più probabile.
Usato in: ch.07
Esplora più sequenze candidate in parallelo.
Usato in: ch.07
Il modello inventa un'informazione falsa ma plausibile.
Il modello recupera documenti esterni prima di rispondere.
Database che archivia e interroga embedding vettoriali.
Ricerca per similarità di significato, non solo di parole.
LLM ottimizzato per ragionare a lungo prima di rispondere.
Modello che gestisce più tipi di input (testo, immagine, audio…).
Modello che comprende testo e immagini insieme.
Generazione di un'immagine a partire da un testo.
Tecnica di fine-tuning leggero basata su matrici a basso rango.
Usato in: ch.14
LoRA combinato alla quantizzazione per ridurre l'uso di memoria.
Famiglia di metodi di fine-tuning efficienti in termini di parametri.
Usato in: ch.14
Sistema IA che persegue un obiettivo attraverso più passi e strumenti.
Capacità del modello di chiamare funzioni esterne.
Usato in: ch.11
Pattern che alterna ragionamento e azione.
Usato in: ch.11
Capacità di un agente di scomporre un obiettivo in sotto-compiti.
Più agenti che collaborano o si coordinano.
Protocollo standard per connettere strumenti a un LLM.
Usato in: ch.11
Capacità di un agente di utilizzare un computer.
Usato in: ch.11
IA che agisce autonomamente in un ambiente.
Insieme di dati usato per addestrare o testare un modello.
Dati per addestrare, ottimizzare e valutare il modello.
Risposta corretta associata a un esempio.
Processo di assegnazione di etichette ai dati.
Generazione artificiale di ulteriori dati di addestramento.
Dati generati artificialmente, ad esempio tramite IA.
Variabile di input del modello.
Usato in: ch.20
Creazione manuale di variabili rilevanti per il modello.
Rappresentare una categoria come vettore binario.
Cambiamento progressivo dei dati rispetto a quelli di addestramento.
Fuga di informazioni dal set di test verso quello di addestramento (risultati falsamente buoni).
Parametro fissato prima dell'addestramento (tasso di apprendimento, dimensione del batch…).
Valutazione tramite multiple suddivisioni dei dati.
Il modello memorizza i dati di addestramento e generalizza male.
Usato in: ch.06
Il modello è troppo semplice per cogliere il segnale nei dati.
Tecniche che prevengono il sovra-adattamento.
Usato in: ch.06
Disattiva casualmente alcuni neuroni durante l'addestramento.
Interrompere l'addestramento quando l'errore di validazione smette di migliorare.
I gradienti diventano troppo piccoli per aggiornare i pesi.
Il modello dimentica compiti precedenti mentre ne apprende di nuovi.
Trasferire la conoscenza di un modello grande a uno piccolo.
Usato in: ch.21
Eliminare pesi superflui per alleggerire il modello.
Ridurre la precisione numerica dei pesi per risparmiare memoria.
Relazioni tra dimensione del modello, quantità di dati, calcolo e prestazioni.
Percentuale di previsioni corrette.
Tra le previsioni positive, quante sono effettivamente corrette.
Tra i veri positivi, quanti vengono effettivamente rilevati.
Media armonica di precisione e richiamo.
Tabella incrociata tra previsioni e valori reali.
Curva e area sotto la curva per valutare un classificatore.
Misura dell'incertezza di un modello linguistico (più bassa è, meglio è).
Metriche per traduzione automatica e riassunto.
Misura della qualità delle immagini generate.
Test standardizzato per confrontare i modelli (MMLU, HumanEval…).
Usato in: ch.16
Test avversariali per scoprire i punti deboli di un modello.
Entità che prende decisioni in un ambiente.
Mondo in cui l'agente opera.
Strategia dell'agente (stato → azione).
Segnale numerico che indica la qualità di un'azione.
Algoritmo di RL basato sulla stima della funzione Q.
Algoritmo RL molto utilizzato, anche nell'RLHF.
Dilemma tra esplorare il nuovo e sfruttare ciò che si conosce.
L'agente sfrutta la funzione di ricompensa in modo non previsto.
Usato in: ch.11
Campo dell'IA che elabora immagini e video.
Assegnare una categoria a un'immagine.
Localizzare e classificare oggetti in un'immagine.
Etichettare ogni pixel di un'immagine con una classe.
Riconoscimento del testo in un'immagine.
Modelli classici per il rilevamento di oggetti.
Modello universale di segmentazione.
Rappresentazione 3D di una scena appresa da immagini.
Far sì che l'IA persegua obiettivi coerenti con i valori umani.
Campo di studio volto a rendere l'IA affidabile e sicura.
Input progettato per ingannare un modello.
Aggirare i meccanismi di sicurezza di un LLM.
Usato in: ch.08
Iniezione malevola di istruzioni in un prompt.
Usato in: ch.12
Distorsione nei dati o nelle previsioni del modello.
Equità nelle decisioni algoritmiche.
Capacità di comprendere perché un modello prende una decisione.
Studio del funzionamento interno delle reti neurali.
Metodo formale di protezione della privacy dei dati.
Contenuto falsificato tramite IA.
Divario tra gli obiettivi reali e quelli apparenti del modello.
Modello che prevede la qualità di una risposta secondo giudici umani.
Governance e regolamentazione dell'IA.
Processore grafico, ampiamente usato per l'IA.
Chip specializzato per l'IA progettato da Google.
Piattaforma di calcolo GPU di Nvidia.
Operazioni in virgola mobile al secondo.
Addestramento distribuito su più macchine.
Stessi pesi, dati diversi su ciascuna GPU.
Il modello è suddiviso su più GPU.
Principali framework di deep learning.
Piattaforma di modelli, dataset e strumenti ML.
Formato standard per lo scambio di modelli tra framework.
IA eseguita su dispositivi embedded.
Tempo di risposta del modello.
Usato in: ch.18
Numero di inferenze al secondo.
Pratiche DevOps applicate al machine learning.
Capacità che compaiono improvvisamente oltre una certa dimensione del modello.
Usato in: ch.19
Aumentare dimensione, dati o calcolo per migliorare le prestazioni.
Modello i cui pesi sono pubblicamente disponibili.
Modello all'avanguardia nello stato dell'arte.
Modello linguistico compatto, ottimizzato per l'efficienza.
Inclusione dell'essere umano nel ciclo di apprendimento o di decisione.
Modello interno di un agente che prevede l'evoluzione dell'ambiente.
IA incorporata in un corpo fisico (robot).
Scheda descrittiva di un modello (capacità, limiti, bias).