85 lines
4.8 KiB
Markdown
85 lines
4.8 KiB
Markdown
-
|
|
- #.tabular
|
|
- ### 🗒️Notes
|
|
- 
|
|
- [EMELIOT MEETING 8-9 Luglio 2024 - L'Aquila - Google Docs](https://docs.google.com/document/d/17jmIUtaIKzIPfbwTvsCZAWIqPd9rRllVWpIOEtlS-7Q/edit)
|
|
type:: [[meeting]]
|
|
tags:: [[PROJECTS/PRIN-EMELIOT]]
|
|
location:: L'AQUILA
|
|
- **Fairness By Design? Experimenting Prompt Engineering Patterns to Generate Fairness-Preserving Synthetic Datasets for Machine Learning-Enabled Systems (Salerno)**
|
|
collapsed:: true
|
|
- **Patterns di prompt engineering** per generare dataset che siano fair by design
|
|
- *RQ0: metriche di qualità strutturali*
|
|
- Completezza
|
|
- Uniqueness
|
|
- Consistency
|
|
- Readability
|
|
- *RQ1: Structural quality of dataset generated by LLMs*
|
|
- Esistono qualita' strutturali?
|
|
- Metriche: AOD, SPD, EOD
|
|
- *RQ2: Performance dei modelli addestrati con dati generati*
|
|
- *RQ3: fairness di modelli addressati con dati originali vs quelli generati*
|
|
- Three different prompts
|
|
- 0-shot (nessun esempio)
|
|
- 1-shot
|
|
- 2-shot (due esempi)
|
|
- DUrante la presentazone di Claudio sul lavoro di ICSE, Leonardo ci ha suggerito di provare a estrarere le regole del random forest risultanti dall'attività di training [[Ideas]]
|
|
- C'e' incrementalità?
|
|
- Se aggiungo dati, cambia il risultato della mia predizione?
|
|
- Collegare il lavoro a quello di generazione di dati sintetici? Chiedo a chatgpt di generare dati dando in input le regole randomforest (vedi commento precedente)
|
|
- **Appunti meeting emeliot (Antinisca):**
|
|
- 1-per il lavoro sui sintomi:
|
|
- a-definire meglio lo scenario d'uso
|
|
- b-estrarre da random forest le regole per interpretare le predizioni che fa
|
|
- c-usare le regole interpretative delle predizione di random forest per generare i dataset sintetici (per esempio usando l'approccio presentato da salerno)
|
|
- per la generazione di modelli e in generale per task a supporto di software eng. forse meglio usare copilot (ma attenzione a privacy e aspetti etici) oppure GPT con librerie - suggerimento di Max
|
|
- **Creation of User Stories with LLMs (Luciano)**
|
|
- Ausilio alla generazione e valutazione dei requisiti
|
|
- DONE Vedere lavoro Alessio Ferrari di ICSE 2023 per fare analisi di user stories definite da studenti
|
|
:LOGBOOK:
|
|
CLOCK: [2025-05-26 Mon 22:19:17]--[2025-05-26 Mon 22:19:17] => 00:00:00
|
|
:END:
|
|
- Vedere anche lavoro di Fabiano Dalpiaz su User Stories
|
|
id:: 668e3747-dff2-4f1a-84b2-1d75cbd83aa1
|
|
- *Syntactic Metrics*
|
|
- Automated tool **AQUSA**
|
|
- *Semantic Metrics* [[Ideas]]
|
|
- Feature specifity (FS)
|
|
- Rational Clarity (RC)
|
|
- Problem-Oriented (PO)
|
|
- Language Clarity (LC)
|
|
- Internal Consistency (IC)
|
|
- **AI Technical Debt Unveiled: Understanding the Impact of AI-Specific Technical Debt (Salerno)**
|
|
- 36 data smells (consistency, etc.)
|
|
- C'e' un articolo di Arie Van Daursen su data smells in public datasets (14 data smells raggruppati in 5 categorie)
|
|
- **A study on factors affecting the reproducibility of deep learning model training (UniSannio)**
|
|
- Fattori che influenzano la riproducibilità del training:
|
|
- Randomness
|
|
- Governato dal random seed
|
|
- Non determinismo dell'hardware
|
|
- Con il lavoro che stanno facendo stanno cercando di controllare la randomness del software e il non-determinismo dell'hardware.
|
|
- Dallo studio si evince che i fattori che hanno un impatto sulla riproducibitlià e che quindi andrebbero documentati sono:
|
|
- Uso di GPU diverse
|
|
- DL libraries and their versions
|
|
- Random seed initialization
|
|
- **Chatbot Testing (UniMiB)**
|
|
- Botium, CTG sono strumenti di chatbot generation
|
|
- **Data management in edge environments (PoliMi)**
|
|
- Data Shipping Architecture
|
|
- Contesto Serverless Edge Computing -> Open issues
|
|
- FRED (Software Practice and Experience, 2023)
|
|
- FogStore
|
|
- Integrazione data e computation management
|
|
- Partendo da Neptune
|
|
- Formalizzato il problema delle repliche come problema di ottimizzazione (definito un modello di costo)
|
|
- La novelty sta nel placement ottimale di **DATI E FUNZIONI**
|
|
- **Resource provisioning for ML training (PoliMi)**
|
|
-
|
|
- ### 📜Reviews
|
|
- {{query (and [[REVIEWS]] (or (property :date-end [[07-07-2024]]) (property :date-start [[07-07-2024]]) (property :date-submitted [[07-07-2024]])))}}
|
|
query-table:: true
|
|
query-properties:: [:file :year :venue :deadline]
|
|
- ### ⤴️Omnivore readings
|
|
- {{query (and (property :source [[Omnivore]]) (or (property :deadline [[07-07-2024]]) (property :date-saved [[07-07-2024]]) (property :date-archived [[07-07-2024]])))}}
|
|
query-table:: true
|
|
query-properties:: [:labels :state :full-title] |