4.8 KiB
4.8 KiB
-
- #.tabular
-
🗒️Notes
- EMELIOT MEETING 8-9 Luglio 2024 - L'Aquila - Google Docs
type:: meeting
tags:: PROJECTS/PRIN-EMELIOT
location:: L'AQUILA
- Fairness By Design? Experimenting Prompt Engineering Patterns to Generate Fairness-Preserving Synthetic Datasets for Machine Learning-Enabled Systems (Salerno)
collapsed:: true
- Patterns di prompt engineering per generare dataset che siano fair by design
- RQ0: metriche di qualità strutturali
- Completezza
- Uniqueness
- Consistency
- Readability
- RQ1: Structural quality of dataset generated by LLMs
- Esistono qualita' strutturali?
- Metriche: AOD, SPD, EOD
- RQ2: Performance dei modelli addestrati con dati generati
- RQ3: fairness di modelli addressati con dati originali vs quelli generati
- RQ0: metriche di qualità strutturali
- Three different prompts
- 0-shot (nessun esempio)
- 1-shot
- 2-shot (due esempi)
- Patterns di prompt engineering per generare dataset che siano fair by design
- DUrante la presentazone di Claudio sul lavoro di ICSE, Leonardo ci ha suggerito di provare a estrarere le regole del random forest risultanti dall'attività di training Ideas
- C'e' incrementalità?
- Se aggiungo dati, cambia il risultato della mia predizione?
- Collegare il lavoro a quello di generazione di dati sintetici? Chiedo a chatgpt di generare dati dando in input le regole randomforest (vedi commento precedente)
- Appunti meeting emeliot (Antinisca):
- 1-per il lavoro sui sintomi:
- a-definire meglio lo scenario d'uso
- b-estrarre da random forest le regole per interpretare le predizioni che fa
- c-usare le regole interpretative delle predizione di random forest per generare i dataset sintetici (per esempio usando l'approccio presentato da salerno)
- per la generazione di modelli e in generale per task a supporto di software eng. forse meglio usare copilot (ma attenzione a privacy e aspetti etici) oppure GPT con librerie - suggerimento di Max
- Creation of User Stories with LLMs (Luciano)
- Ausilio alla generazione e valutazione dei requisiti
- DONE Vedere lavoro Alessio Ferrari di ICSE 2023 per fare analisi di user stories definite da studenti :LOGBOOK: CLOCK: [2025-05-26 Mon 22:19:17]--[2025-05-26 Mon 22:19:17] => 00:00:00 :END:
- Vedere anche lavoro di Fabiano Dalpiaz su User Stories id:: 668e3747-dff2-4f1a-84b2-1d75cbd83aa1
- Syntactic Metrics
- Automated tool AQUSA
- Semantic Metrics Ideas
- Feature specifity (FS)
- Rational Clarity (RC)
- Problem-Oriented (PO)
- Language Clarity (LC)
- Internal Consistency (IC)
- AI Technical Debt Unveiled: Understanding the Impact of AI-Specific Technical Debt (Salerno)
- 36 data smells (consistency, etc.)
- C'e' un articolo di Arie Van Daursen su data smells in public datasets (14 data smells raggruppati in 5 categorie)
- A study on factors affecting the reproducibility of deep learning model training (UniSannio)
- Fattori che influenzano la riproducibilità del training:
- Randomness
- Governato dal random seed
- Non determinismo dell'hardware
- Randomness
- Con il lavoro che stanno facendo stanno cercando di controllare la randomness del software e il non-determinismo dell'hardware.
- Dallo studio si evince che i fattori che hanno un impatto sulla riproducibitlià e che quindi andrebbero documentati sono:
- Uso di GPU diverse
- DL libraries and their versions
- Random seed initialization
- Fattori che influenzano la riproducibilità del training:
- Chatbot Testing (UniMiB)
- Botium, CTG sono strumenti di chatbot generation
- Data management in edge environments (PoliMi)
- Data Shipping Architecture
- Contesto Serverless Edge Computing -> Open issues
- FRED (Software Practice and Experience, 2023)
- FogStore
- Integrazione data e computation management
- Partendo da Neptune
- Formalizzato il problema delle repliche come problema di ottimizzazione (definito un modello di costo)
- La novelty sta nel placement ottimale di DATI E FUNZIONI
- Data Shipping Architecture
-
Resource provisioning for ML training (PoliMi)
- Fairness By Design? Experimenting Prompt Engineering Patterns to Generate Fairness-Preserving Synthetic Datasets for Machine Learning-Enabled Systems (Salerno)
collapsed:: true
-
📜Reviews
- {{query (and REVIEWS (or (property :date-end 07-07-2024) (property :date-start 07-07-2024) (property :date-submitted 07-07-2024)))}} query-table:: true query-properties:: [:file :year :venue :deadline]
-
⤴️Omnivore readings
- {{query (and (property :source Omnivore) (or (property :deadline 07-07-2024) (property :date-saved 07-07-2024) (property :date-archived 07-07-2024)))}} query-table:: true query-properties:: [:labels :state :full-title]
-
- #.tabular