Thread by @salvo_fedele

🔍📚 luci e ombre nell'uso attuale delle #AI nella ricerca bibliografica. Proviamo a leggere insieme i risultati ottenuti con #autoGPT, #GPT4 con plugin browsing attivo e #Bing A seguire i dettagli! 🤖💡 1/n #AIResearch #Bibliography

Proviamo a leggere la risposta di #AutoGPT a questa richiesta: 🔍📚"Find evidence about the use of bubble test combined with transtemporal ecodoppler in the diagnosis of patent foramen ovale (PFO) and summarize your results in a table" 2/n #AIResearch
dropbox.com/s/znf0f2nfhnve…

Proviamo a leggere i risultati di #Bing alla stessa ricerca, con una avvertenza preliminare: il salvataggio è più laborioso, Bing fornisce link attivi soltanto su microsoft_edge e questi link sono di durata incerta, è necessario sempre salvare i risultati anche in altro modo. 3/n

Ecco la risposta di #Bing Tutte le voci citate sono raggiungibili dal link che segnalo (attivo solo su Edge e con account bing configurato): sl.bing.net/hD8DwNTDyRU

Altra segnalazione: tutte le ricerche su #Bing vanno fatte in modalità "creative" la sola che corrisponde a GPT-4 OpenAi con plugin browsing attivo 5/N.

Per inciso e prima di mostrarvi la risposta di GPT-4 vi faccio vedere la risposta di Bard che utilizza un diverso LLM. Tornerò su quello che vi ho fin qui, ma qui debbo subito aggiungere che la risposta di Bard in questo caso è completamente falsa per la biblio citata. 6/N

Quel che è interessante notare della risposta di Bard è il contrasto tra l'allucinazione nella citazione delle fonti e la sostanziale correttezza della risposta fornita. Ho modificato la domanda, come vi mostrerò nel prossimo step per una ulteriore verifica 7/n

ho modificato la domanda chiedendo solo fonti bibliografiche successive al 2020 e ancora una volta la risposta per quanto attiene le fonti bibliografiche è frutto di completa "allucinazione", ma vi mostrerò a parte la ricerca google che suggerisce in chiusura della risposta 8/n