Hakerzy zmanipulują chatboty? Ostrzeżenie brytyjskiej agencji ds. cyberbezpieczeństwa

Celem hakerów ma być tworzenie takich poleceń (promptów), dzięki którym duży model językowy (LLM), na którym opiera się chatbot AI, ma zachowywać się w niezamierzony sposób. W związku z tym, że chatboty coraz częściej używane są do przekazywania danych do różnych aplikacji, zagrożenie będzie rosło - informuje "The Guardian".

W marcu tego roku OpenAI utworzyło platformę wtyczek dla ChatGPT. Pozwala ona programistom tworzyć wtyczki, których celem ma być rozszarzenie funkcjonalności popularnego chatbota. Problem polega na tym, że użytkownik o złych zamiarach może wstrzyknąć złośliwy kod do sesji ChatuGPT. Innym problemem jest to, że dzięki odpowiednio stworzonym promptom, chatbot będzie mógł na przykład ujawnić poufne informacje o danym systemie.

Za przykład może posłużyć działanie jednego ze studentów Uniwersytetu Stanforda, który opublikował początkowy prompt w czacie Binga, o którym pisała Ars Technica w lutym tego roku.

Powyższy tweet pokazuje, jak stworzone przez studenta prompty doprowadziły chatbot do podania danych, które powinny być ukryte przed użytkownikami.

AI stworzy więcej scamu?

Z kolei badacz cyberbezpieczeństwa, Johann Rehberger, odkrył że ChatGPT może zostać zmuszony do odpowiadania na nowe zapytania za pośrednictwem strony trzeciej, np. YouTube.

Zdaniem NCSC, łatwość w manipulowaniu komendami może doprowadzić do tworzenia scamu czy też do kradzieży danych. Aby zapobiegać tego typu problemom potrzebne jest lepsze zrozumienie technik ataków, które wykorzystują luki w algorytmach uczenia maszynowego.

Więcej na temat zagrożeń wynikających z rozwoju AI pisaliśmy na łamach CyberDefence24 między innymi w tym tekście.