Спеціалізована мовна модель Generative Pre-Trained Transformer

Олександр Резь; Олександр Сторожук; Наталія Гіссовська

Олександр Резь магістрант кафедри КН НЛТУ України, Львів, Україна
Олександр Сторожук доцент кафедри ІСКМ НЛТУ України, Львів, Україна https://orcid.org/0000-0001-6566-5271
Наталія Гіссовська асистент кафедри ІСКМ НЛТУ України, Львів, Україна

Ключові слова: штучний інтелект, велика мовна модель, машинне навчання, трансформер, GPT, Python

Анотація

Робота присвячена дослідженню застосування мовних моделей створених за архітектурою породжувального попередньо натренованого трансформера (GPT). Проведено дослідження архітектури GPT, процесу навчання та спеціалізації мовних моделей для вирішення конкретних задач. Досліджено можливості подальшого вдосконалення моделей та процесів тренування та спеціалізації.

Посилання

[1] Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., & Polosukhin I. Attention is All You Need // Advances in Neural Information Processing System: 31st Conference on Neural Information Processing Systems (NIPS 2017). – Long Beach, CA, USA. – 2017.
[2] Документація PyTorch [Електронний ресурс] Режим доступу: https://pytorch.org/docs/stable/index.html станом на 20.10.2024
[3] Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya. Improving Language Understanding by Generative Pre-Training. OpenAI. с. 12 – 2018
[4] Вихідний код GPT-2 [Електронний ресурс] Режим доступу: https://github.com/openai/gpt-2 станом на 20.10.2024
[5] Репозиторій minGPT [Електронний ресурс] Режим доступу: https://github.com/karpathy/minGPT станом на 20.10.2024
[6] Dosovitskiy, Alexey; Beyer, Lucas; Kolesnikov, Alexander; Weissenborn, Dirk; Zhai, Xiaohua; Unterthiner, Thomas; Dehghani, Mostafa; Minderer, Matthias; Heigold, Georg; Gelly, Sylvain; Uszkoreit, Jakob. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale – 2021.