На 22 октомври 2024 г. в Заседателната зала на Факултета по математика и информатика към Софийския университет „Св. Климент Охридски“ се проведе научен семинар на тема: "Халюцинации при големите езикови модели за български език".
Семинарът беше организиран по проект AI-BEST (AI and Big data for Education, Software and Information Technologies), дейност 3.4 на проект SUMMIT на Софийския университет.
Ръководителят на AI-BEST доц. д-р Александър Димов откри с кратко представяне научния форум. Лектори бяха ас. Мелания Бербатова и Йоан Саламбашев.
Семинарът започна с представяне на понятието „халюцинации“ в големите езикови модели (ГЕМ) и примери за тях в моделите, работещи на български език. Беше представено предложение за рамка и методология за оценка на халюцинации в ГЕМ, както и експерименти с предложената методология с различни ГЕМ.
Големите езикови модели (ГЕМ) са технология, която все повече навлиза в ежедневието ни. Един от основните проблеми на употребата им е склонността им да създават неверни или безмислени твърдения или иначе казано - да халюцинират. Семинарът представи проблема за халюцинациите в ГЕМ и методите за оценката им и ограничаването им по-специално при употребата им на български език. Оценката за нивото на халюцинации се основава на задача за отговаряне на въпроси (QA, question answering), като се оценяват отговорите на голям езиков модел спрямо истината или се използва подход с друг езиков модел в ролята на съдия (LLM-as-a-judge).
Проектът SUMMIT (Sofia University Marking Momentum for Innovation and Technological Transfer), е финансиран от ЕС NextGenerationEU по Националния план за възстановяване и устойчивост, компонент „Иновативна България“, Инвестиция 1 „Програма за ускоряване на икономическото възстановяване и трансформация чрез наука и иноваци