13 lines
2.1 KiB
Markdown
13 lines
2.1 KiB
Markdown
- **22:54** [[quick capture]]:
|
||
La [[maratona di Londra]] che si è corsa domenica scorsa ha visto trionfare il 23enne keniano [[Kelvin Kiptum]]. che ha realizzato la seconda prestazione di tutti i tempi sulla distanza: con 2h01'25" è arrivato ad appena 16 secondi dal record mondiale che appartiene al connazionale Eliud Kipchoge, che lo aveva fatto segnare a Berlino lo scorso 25 settembre. Kiptum è stato velocissimo e si è preso gli applausi del folto pubblico che si è assiepato lungo il percorso della maratona inglese, ma un altro concorrente – arrivato molto tempo dopo di lui – ha dimostrato che il risultato non è tutto nello sport.
|
||
- type:: [[weblink]]
|
||
source:: [What Is ChatGPT Doing … and Why Does It Work?—Stephen Wolfram Writings](https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/)
|
||
tags:: [[ReadingNotes]] [[chatgpt]]
|
||
date:: [[25-04-2023]] - 22:15
|
||
- There are about 40,000 [reasonably commonly used words in English](https://reference.wolfram.com/language/ref/WordList.html). And by looking at a large corpus of English text (say a few million books, with altogether a few hundred billion words), we can get an [estimate of how common each word is](https://reference.wolfram.com/language/ref/WordFrequencyData.html).
|
||
- using this we can start generating “sentences”, in which each word is independently picked at random, with the same probability that it appears in the corpus.
|
||
- we can start taking into account not just probabilities for single words but probabilities for pairs or longer __n__\-grams of words
|
||
- In a [crawl of the web](https://commoncrawl.org/) there might be a few hundred billion words; in how long it’s going to take a cannon ball dropped from each floor of the Tower of Pisa to hit the ground.
|
||
- make a model that gives some kind of procedure for computing the answer rather than just measuring and remembering each case
|
||
- Any model you use has some particular underlying structure—then a certain set of “knobs you can turn” (i.e. parameters you can set) to fit your data.
|
||
- 175 billion of them |