13 KiB
13 KiB
type:: meeting
external-links::
tags:: PROJECTS/PRIN-EMELIOT
people::
date:: 07/02/2024
duration::
isconsortium:: true
location:: Franciacorta
- Luciano invierà presto qualche dettaglio in più per fare la prenotazione della stanza. Rimane il piano già concordato:
- Arrivo a Milano attorno all’ora di pranzo/primo pomeriggio del 6 Febbraio. Nel pomeriggio raggiungiamo in auto la Franciacorta. La cena è prevista nella stessa struttura che ci ospita. La sera se ne abbiamo voglia potremmo fare due chiacchiere informali su progetti (PRIN per il futuro?) e lavori futuri mentre ci beviamo qualcosa… oppure semplicemente ci beviamo qualcosa in allegria parlando di altro ;-)
- Si lavora il 7 Febbraio fino ad una ora X del pomeriggio da determinare sulla base di un evento sociale a cui sta lavorando Luciano (l’idea è di far visita ad una cantina della zona)
- l’8 Febbraio mattina facciamo colazione e torniamo a Milano. Poi "non-Milanesi” a questo punto rientrano in sede
- Riguardo alla giornata lavorativa, di sicuro prevederei una sessione per discutere degli avanzamenti sull’organizzazione dell’esperimento con human subject di cui abbiamo discusso alle ultime riunioni.
- Inoltre prevederei come al solito delle presentazioni di aggiornamento, che poi funzionano anche come driver per la discussione. **A questo proposito chiederei ad ogni unità di inviare la lista delle presentazioni che vorrebbe fare / eventuali argomenti che vorrebbe vedere trattati alla riunione. Vi chiedo di inviare questa informazione entro il 22 dicembre, **così come compito per le vacanze definisco l’agenda della riunione.
-
- ## Agenda
- *8:30 - 9:45 Resource allocation and sustainabilty*
- Resource allocation at the edge (Polimi) ((65c33322-8ccc-4fc7-92a5-96d34d4036e0))
- Spark and resource management for ML (Polimi) ((65c153f6-97f3-4657-86e3-7ec7e990ec91))
- The Making of Sustainable ML-Enabled Systems: State of the Practice and Trade-Offs to Consider (UniSA) ((65c340fc-99fc-4b15-822b-0433fb54695e))
- 9:45-10:15 Coffee break
- *10:15 - 11:30 Quality of DL program and models*
- Technical Dept of DL Systems (UniSannio) ((65c3448b-ffae-4229-b3e8-accf3031a4f6))
- Model transparency and documentation (UniSannio) ((65c34076-c42e-4772-b6ff-fc5b5733a482))
- Towards the identification of datasets bias symptoms (UniVaq) ((65c35633-d1fd-4840-a6bc-ee79a2db5ffa))
- 11:30-12:15 Light lunch
- 12:30-14:00 Visita Berlucchi
- *14:30 - 15:45 Software Quality*
- ((65c3581b-b9cf-4127-936e-bc5ad5ee2805))
- ((65c39bdd-1dfc-4590-ac0e-22248b4b4314))
- Failure injection and propagation in IoT systems (UniVaq)
- 15:45 - 16:15 Coffee break
- *16:15 - 17:05 LLMs*
- ((65c398ad-f5cf-493b-b027-44535a5ce698))
- ((65c3ad5f-582a-4a6f-a14d-5a539d2888a2))
- 17:05 - 18:00 Working session (intro UniSannio)
- ## Presentazioni
- ### Self-healing neural networks (Giovanni Quattrocchi)
id:: 65c33322-8ccc-4fc7-92a5-96d34d4036e0
-
- NN per computer vision
- Input immagini
- Problema principale e' l'overfitting
- NN che "impara troppo" dai dati in input
- Se aggiungo all'immagine iniziale un errore, quello che apparentemente e' un errore non visibile all'occhio umano, la predizione e' sbagliata
- DONE Out of distributionz (ODD) data (da vedere )
| - DA CAPIRE SE TUTTO QUESTO PUO' ESSERE APPLICATO ALL'INGEGNERIA DEL SOFTWARE PER ESEMPIO RELATIVO A SUPPORTARE TASK DI SVILUPPO CON STILI DI PROGRAMMAZIONE DIVERSA Ideas |
|---|
| - ### Spark and resource management for ML (Marco Garlini - assegnista polimi) |
| id:: 65c153f6-97f3-4657-86e3-7ec7e990ec91 |
| - Allocazione dinamica di risorse per ML (Apache Spark e batch processing) |
| - L'architettura di Apache Spark e' una timipa master / worker. Un master node che interagisce e orchestra l'esecuzione di azioni di processamento eseguite da Worker Node |
| - L'ordine di esecuzione e il parallelismo di esecuzione degli job e' gestito dal un DAG scheduler |
| - Presentato dynaSpark (paper di Luciano, Giovanni etc.) |
| - Spark fornisce una libreria ML chiamata MLlib |
| - Una inefficienza e' la caratteristica di essere single progress e multi-thread |
| - Questo causa alcuni problemi con Python |
| - PyTorch fornisce dei paradigmi piu' recenti ed efficienti |
| - Multi-process e multi-thread, esempio permette di avere esecuzioni frammenti di modelli su piu' GPU |
| - Spark introduce nell'aprile 2023 TorchDistributor che permette di usare PyTorch in maniera nativa |
| - quindi la distribuzione non viene gestita da PyTorch, ma da TorchDistributor |
| - |
| - Quindi il goal e' quello di aggiornare dynaSpark per fornire supporto per pyTorch mediante TorchDistributor |
| - |
| - ### The making of sustainable ML-enabled systems (Fabio) |
| id:: 65c340fc-99fc-4b15-822b-0433fb54695e |
| - Hanno un TOSEM in major revision per capire quali sono gli aspetti non funzionali di sistemi ML-based |
| - Hanno identificato 30 requisiti non funzionali che sono clusterizzati in 6 gruppi tra cui c'e' sustainability che consiste fairness, bias ethics, accountability, cost, energy consumption |
| - DONE C'e' un articolo ICSE 2023 "Sustainability is stratified: .." che presenta 4 dimensioni caratterizzanti la sostenibilità per SE |
| id:: 65c8d45b-1a21-40d2-9003-5b9c13d08e01 |
| - Hanno un TSE under review che studia gli aspetti di sostenibilità di sistemi ML-based |
| - SOno stati coinvolti diversi ML engineers and piu' di 300 sviluppatori |
| - La tecnica piu' usata per gestire la questione di sostenibilità e' quella di ottimizzare l'uso di CPU/GPU |
| - ### Technical Dept of DL Systems (Federica Pepe) |
| id:: 65c3448b-ffae-4229-b3e8-accf3031a4f6 |
| - DONE Articolo EMSE 2022 di Massimiliano su self-admitted technical dept |
| - QUali sono gli SATD in ambito di progetti ML? |
| - La tassonomia consiste dei seguenti tipi di ML TechDept |
| - Hardware (support) |
| - API (problemi di integrazioni con i framework piu' comuni di ML es. tensorflow) |
| - Data |
| - Model (Setting and design of the model) |
| - parameter come dimensione dei batch |
| - compatibilità dei vari modelli |
| - Inference |
| - Modo in cui il modello fa inferenza su nuovi dati |
| - Pipeline |
| - Training e predizione di nuovi dati |
| - Ottimizzazione per accellerare il processo o migliorare le performance del modello |
| - DONE Tassonomia di Real Faults in Deep Learning SYstems (paper di Tonella ICSE 2020) |
| id:: 65c8d45b-3974-4a0e-ac6e-7dbc798340ab |
| :LOGBOOK: |
| CLOCK: [2025-05-26 Mon 22:21:42]--[2025-05-26 Mon 22:21:43] => 00:00:01 |
| :END: |
| - Il match della tassonomia di Max e quella di Tonella consiste di un'intersezione di 3 elementi (che non ricordo) |
| - |
| - ### How HF models document dataset, bias and licences (Federica Pepe) |
| id:: 65c34076-c42e-4772-b6ff-fc5b5733a482 |
| - Research questions (Lo studio e' stato fatto focalizzandosi sulla libreria transformers) - sono stati considerati circa 159000 modelli HF |
| - RQ1: to what extent do models declare the datasets used for the training? |
| - 14% specifica il dataset usato (distinguendo dataset hosted by HF o link esterni) |
| - la maggior parte usando dataset hosted by HF |
| - RQ2: how PTMs discuss fairness/bias limitations |
| - IL modello dichiara bias? se si, che tipologia? |
| - 18% dichiara bias |
| - Le categorie di bias considerate |
| - HIstorical Bias |
| - Popularity Bias |
| - Population bias |
| - Content production bias |
| - Social bias |
| - RQ3: to what extent PTMs declare the used licenses |
| - ricerca del tag license nelle model card di HF |
| - Ci sono tre tipologie di license |
| - Restrictive |
| - ML-Specific |
| - Rail |
| - Forbid harmful and unethical usages |
| - E' stato studiata una contingency matrix mettendo in relazione licensa modello usato vs licensa project |
| - E' stato visto che su circa 100000 progetti, ni hanno 700 violazioni di license |
| - E' possibile trovare una correlazione tra completezza delle model card e la maturità del modello? Ideas |
| - |
| - ### Towards the identification of datasets bias symptoms (Giordano) |
| id:: 65c35633-d1fd-4840-a6bc-ee79a2db5ffa |
| - I 200 secondi menzionati nella slide 3 non mi sembrano impressive!!! Per il paper va trovato un esempio piu' forte! |
| - Considerando la domanda di Luciano, bisogna chiarire che noi forniamo un meccanismo che permette di individuare potenziali rischi di bias, indipendentemente dal dominio applicativo o dall'uso che si fa' del bias |
| - Bisogna analizzare le possibili correlazioni esistenti tra i 17 sintomi che sono stati identificati |
| - Guardare il paper di Mark Harman in merito a questo |
| - Un suggerimento di Leonardo e' fare un'analisi con azioni correttive del bias Ideas |
| - ### On the Relation between Community Smells and Socio-Technical Antipatterns in ML-Enabled Systems (UniSA) |
| id:: 65c3581b-b9cf-4127-936e-bc5ad5ee2805 |
| - Aspetti socio-tecnici che possono impattare sulla qualità del software (socio-technical anti-patterns) di sistemi ML-based |
| - SI fa riferimento al concetto di organizational silos |
| - Community smells, e.s. |
| - Lone WOlf |
| - Prima donna |
| - Organization Silo |
| - Organizational Skirmish |
| - Black Cloud |
| - Research questions: |
| - RQ1 How are socio-technical anti-patterns related with community smells in the context of ML-enabled systems (Structural model evaluation) |
| - RQ2: Does the relationship between socio-technical antipatterns and community smells vary by gender, role, and development model? (Structural Model Evaluation - Multi-Group Analysis) |
| - E' stato usato PLS-SEM (modello statistico) per trovare relazioni complesse tra diversi concetti |
| - Articolo del 2023 "Advanced issues in partial least squares structural equation modeling" |
| - Mi sembra di capire che e' una sorta di quality model. La parte aggiuntiva e' la definizione delle ipotesi che lega le relazioni tra quality attribute piu' astratto con i corrispondenti quality attribute aggregati |
| - |
| - ### Chatbot mutation and security testing (UniMiB) |
| id:: 65c39bdd-1dfc-4590-ac0e-22248b4b4314 |
| - Focus su chatbot conversazionali |
| - mutation testing non e' stato ancora applicato in chatbot testing |
| - Articolo a ICSE Demo su Mutabot (chatbot mutation tool) |
| - basato sul metamodello di J. De Lara accettato a SAC 2022 su heterhogeneous chatbot designs |
| - Si usa Botium come tool per implementare le test suite |
| - Attualmente si sta lavorando sulla "copertura" dei vari operatori sulle varie piattaforme |
| - ### Method body generation with LLMs (UniMiB) |
| id:: 65c398ad-f5cf-493b-b027-44535a5ce698 |
| - 2 Articoli a ICPC 2024 |
| - Confrontato 4 assistenti differenti (copilot, tbnine, chatgpt, bard) |
| - correctness |
| - complexity |
| - efficiency |
| - size |
| - similarity con il codice sviluppato dagli sviluppatori |
| - Prompt generato dai commenti in Javadoc |
| - ### Requirements and LLMs (Polimi) |
| id:: 65c3ad5f-582a-4a6f-a14d-5a539d2888a2 |
| - SI e' partiti da un lavoro di Paola Spoletini per generare User Stories a partire di breve descrizioni dell'app da sviluppare (ICSE 2023) |
| - Usata struttura multi-agente |
| - |
| - ### Working session |
| - Articolo a MSR2024 di Max sull'uso di ChatGPT da sviluppatori. E' stata creata una tassonomia di tasks che sono stati supportati da ChatGPT |
| - |
| - |
| - |