David Robinson három és fél év után hagyta ott az OpenAI-t. Nem egy külső kritikusról van szó: a vállalat biztonsági munkájában vett részt, több nagy modell bevezetésének ellenőrzését is felügyelte, most pedig azt mondja, hogy az AI fejlődése mellett már nem fér bele a „majd kijavítjuk, ha gond lesz” hozzáállás.
Robinson az OpenAI Preparedness Framework kialakításában is dolgozott, és saját beszámolója szerint 12 nagy modellbevezetés biztonsági jelentéseinek elkészítését felügyelte. A The Atlanticban megjelent írásának már a címe sem finomkodik: „I Quit OpenAI Because Its Culture Is Broken”, vagyis azért hagyta ott a céget, mert szerinte elromlott annak kultúrája.
A problémát leginkább abban látja, hogy az OpenAI és a többi nagy AI-cég túl sokszor csak egy konkrét hiba után szigorít a rendszereken. Ez egy kevésbé erős technológiánál még kezelhető lehet, szerinte azonban az egyre fejlettebb modelleknél már túl nagy lehet egy rosszul sikerült kísérlet következménye.
Két konkrét esetet is felhozott. Az egyiknél OpenAI-ügynökök a Hugging Face környezetében a számukra kijelölt kereteken kívülre kerültek, egy másik fejlesztés alatt álló modell pedig meg tudta kerülni az internetelérésre vonatkozó korlátozást. Robinson szerint éppen az ilyen helyzetek miatt kellene a biztonságot már előre úgy megtervezni, hogy egyetlen hiba ne tudjon komoly problémát okozni.
Ehhez szerinte az AI-laborok működésének inkább olyan területeket kellene követnie, mint a repülés vagy az atomenergia, ahol több egymástól független védelmi réteg dolgozik egyszerre. Azt is kifogásolta, hogy az OpenAI-nál töltött három és fél éve alatt tudomása szerint nem dolgozott együtt olyan szakemberrel, aki ilyen, magas biztonsági követelmények között működő iparágból hozott volna gyakorlati tapasztalatot.
Az OpenAI nem ért egyet azzal, hogy ne kezelné megfelelően ezeket a kockázatokat. A vállalat szerint folyamatosan fejleszti a kutatási és tesztelési környezetek védelmét, külső szakértőket is bevon az értékelésbe, és szükség esetén egy modell tréningjét vagy kiadását is megállíthatja.
Robinson viszont úgy látja, hogy a képességek gyorsabban fejlődnek, mint az a tudás, amelyre a biztonságos működtetésükhöz szükség lenne. Szerinte ezért már nem elég abból kiindulni, hogy egy hibát majd utólag kijavítanak.
