Realizacja projektu pn. „Prace B+R nad systemem opartym na LLM/GPT, umożliwiającym wykorzystanie języka naturalnego do generowania odpowiedzi na pytania wymagające dostępu do danych poufnych organizacji”.
Firma Automade Sp. z o.o. uzyskała dotację z Unii Europejskiej na realizację projektu pn. „Prace B+R nad systemem opartym na LLM/GPT, umożliwiającym wykorzystanie języka naturalnego do generowania odpowiedzi na pytania wymagające dostępu do danych poufnych organizacji”.
Celem projektu jest opracowanie architektury, metodyki wdrożeniowej i wykonanie prototypu systemu, który umożliwi wdrażanie rozwiązań opartych na Large Language Models (LLM) / Generative Pretrained Transformers (GPT) w modelu On Premise (nie chmurowym) z możliwością wykorzystania w działaniu systemów i danych dostępnych tylko wewnątrz organizacji, bez upubliczniania poufnych danych i systemów wewnętrznych na zewnątrz (do chmury).
W ramach projektu planuje się realizację następujących zadań:
1. Prace badawczo-rozwojowe nad opracowaniem kluczowych algorytmów i architektury systemu
W ramach tego zadania zostaną zrealizowane następujące działania:
a) opracowanie architektury systemu pozwalającej na łączenie ze sobą rozwiązań RPA i API jako konektorów do systemów biznesowych i LLM jako silnika wnioskującego i generującego odpowiedzi dla użytkownika;
b) ewaluacja i wybór rozwiązania LLM właściwego do wdrażania on premise i opracowanie autorskiego rozwiązania umożliwiającego dostosowanie wybranego modelu LLM do realizacji kluczowego wyzwania projektowego, jakim jest realizacja celu użytkownika przy użyciu danych pobieranych z zewnętrznych systemów przez konektory;
c) opracowanie autorskiego algorytmu realizującego wybór właściwych konektorów z puli wcześniej zdefiniowanych konektorów wychodząc od celu (zapytania) stawianego przez użytkownika;
d) opracowanie autorskiego algorytmu wywołującego konektory z właściwymi parametrami i pobierającego dane do kontekstu konwersacji czata;
e) opracowanie autorskiego algorytmu podsumowującego informacje pobrane do kontekstu konwersacji w celu sformułowania precyzyjnej odpowiedzi dla użytkownika.
2. Opracowanie prototypu systemu i testy systemu w warunkach zbliżonych do produkcyjnych
W ramach tego zadania zostaną zrealizowane następujące działania:
a) opracowanie funkcjonalnego prototypu. Opracowanie architektury wdrożeniowej, dockeryzacja serwisów;
b) opracowanie procedur budowania, wydawania i wdrażania systemu w oparciu o środowisko CI/CD. Zadanie obejmuje przygotowanie rozwiązań umożliwiających wydawanie kolejnych wersji produktu wraz z automatyzacją wdrażania rozwiązania u klientów w oparciu o środowisko CI/CD, docker, ansible etc.;
c) opracowanie narzędzi do administrowania systemem, zarządzania modelami, zarządzania promptami, zarządzania przepływem konwersacji;
d) opracowanie narzędzi administracyjnych do zarządzania i tworzenia konektorów do systemów zewnętrznych;
e) opracowanie środowiska testów regresyjnych i automatyzacji testów. Zadanie polega na opracowaniu scenariuszy testowych dla tworzonego prototypu i bazujących na nich testów regresyjnych, które będą umożliwiały dalszy rozwój systemu bez spadku jakości;
f) przeprowadzenie testów produkcyjnych systemu w środowisku klienckim dla przynajmniej 2 środowisk klienckich;
g) dalsze ulepszanie opracowanych algorytmów. Przez cały etap będą prowadzone w sposób iteracyjny ciągłe prace mające na celu weryfikację jakości działania systemu, w szczególności w kontekście prowadzonych prac rozwojowych. Szczególnym krokiem będzie wyciągnięcie i zastosowanie wniosków z testów systemu w środowisku produkcyjnym potencjalnych klientów – należy założyć, że mogą pojawić się nowe wnioski konieczne do uwzględnienia w algorytmach systemu;
h) dokumentowanie nowego produktu – opracowanie koncepcji produktowej, metodyki wdrożeniowej końcowego produktu. Jest to zadanie podsumowujące, którego wynikiem będzie opracowanie metodyki wdrożeniowej obejmującej ogólne zasady wdrażania, konfigurowania i użytkowania systemu, analizę uzyskanych potencjalnych korzyści biznesowych dla klientów, instrukcje i inne materiały umożliwiające dalszy rozwój i korzystanie z prototypu produktu.
Rezultaty projektu:
W wyniku realizacji projektu zostanie wdrożona innowacja produktowa w postaci nowego produktu: systemu umożliwiającego wykorzystanie języka naturalnego do generowania odpowiedzi na pytania wymagające dostępu do poufnych danych.
Grupy docelowe: Planowane do opracowania oprogramowanie zostanie zaproponowane organizacjom, które realizują procesy biznesowe wykorzystujące dane osobowe/wrażliwe/poufne lub inne, które nie mogą być transferowane do chmury obliczeniowej firmy trzeciej, tj. podmioty z branży medycznej, finansowej czy firmy wykorzystujące tzw. legacy systems, niedostępne dla rozwiązań chmurowych. Model biznesowy sprzedaży zostanie oparty o wykupienie dostępu (subskrypcji) do korzystania z narzędzia z góry zdefiniowaną liczbą zapytań.
#FunduszeUE #FunduszeEuropejskie
Wartość projektu: 6 562 771,75 PLN
Wysokość wkładu z Funduszy Europejskich: 4 999 999,99 PLN
