Gli obiettivi di assunzione per la sicurezza antropica mirano a danni nucleari e biologici.

      Uno sguardo all'assunzione di sicurezza di Anthropic mostra esattamente ciò che teme: analisti assunti per impedire ai suoi modelli di insegnare a chiunque come costruire armi nucleari, chimiche e biologiche.

      La maggior parte degli annunci di lavoro vende una missione. Quelli di Anthropic sembrano una valutazione delle minacce.

      L'azienda ha pubblicato una serie di offerte per analisti di enforcement il cui compito è mantenere la sua IA lontana dall'aiutare le persone a costruire armi, gestire truffe o commettere crimini informatici, ha riportato per prima Axios. Un annuncio cerca un "Analista di Enforcement focalizzato su danni radiologici e nucleari." Altri riguardano sostanze chimiche ed esplosivi, frodi finanziarie e altro ancora.

      La retribuzione si colloca nella fascia media o alta dei 200.000 dollari. Il lavoro non consiste nella programmazione. Anthropic desidera esperti del mondo reale in campi come biologia ed esplosivi. Vuole anche persone in grado di pensare come un attaccante che cerca di superare le sue difese.

      Denominare il danno di proposito

      I titoli di lavoro diretti sono deliberati. "Assicurarsi che i nostri modelli non forniscano informazioni potenzialmente dannose è centrale per uno sviluppo responsabile," ha dichiarato un portavoce. L'azienda ha affermato di assumere regolarmente esperti in campi sensibili per testare i suoi modelli prima di un rilascio.

      Specificare il danno esatto, ha aggiunto, è il modo per reclutare le persone giuste. Anthropic afferma che centinaia di dipendenti ora lavorano sulla sicurezza, cercando punti deboli e riparandoli.

      Questa è l'azienda che i critici definiscono il più grande profeta di sventura dell'industria. Il modello di assunzione di sicurezza di Anthropic è la sua risposta a quell'etichetta. Sta spendendo soldi veri sui rischi che continua a descrivere.

      La catastrofe che Amodei continua a descrivere

      Il CEO Dario Amodei ha trascorso mesi a delineare gli aspetti negativi. In un saggio di gennaio ha definito gli attacchi biologici lo scenario che lo preoccupa di più.

      "Non penso che gli attacchi biologici verranno necessariamente eseguiti nel momento in cui diventa ampiamente possibile," ha scritto. "Ma sommati tra milioni di persone e alcuni anni di tempo, penso che ci sia un serio rischio di un attacco maggiore, con vittime potenzialmente nell'ordine dei milioni o più."

      Ha anche avvertito riguardo all'IA che aiuta i criminali informatici e potenzia stati autoritari. All'inizio di quest'anno, Anthropic ha interrotto i rapporti con il Dipartimento della Difesa degli Stati Uniti per l'uso della sua tecnologia per la sorveglianza di massa e armi autonome.

      I laboratori stanno scrivendo le proprie regole

      OpenAI sta facendo lo stesso. Sta assumendo un ricercatore sui rischi biologici e chimici, con uno stipendio base fino a 445.000 dollari. Man mano che i modelli diventano più capaci, ogni laboratorio serio sta correndo per formare un team rosso.

      Quella corsa sta avvenendo in un vuoto. Gli Stati Uniti non hanno ancora una legge completa sulla sicurezza dell'IA. Il Congresso ci ha provato per anni senza ottenere nulla. Alcuni vogliono un arbitro: Demis Hassabis di Google ha proposto un'agenzia di vigilanza in stile Wall Street per i modelli di frontiera. Meno di uno su cento dei dottorati in IA va nel governo, quindi l'expertise rimane all'interno delle aziende.

      Il risultato è una strana forma di auto-regolamentazione. Le aziende che costruiscono le capacità più pericolose sono anche quelle che decidono come contenerle. Amodei ha definito lui stesso quella tensione, chiamando le aziende di IA il prossimo livello di rischio dopo gli stati ostili. La sua pagina delle carriere è l'argomento e l'avvertimento in un unico posto. Le persone meglio posizionate per fermare la catastrofe lavorano per l'azienda che potrebbe contribuire a causarla.