Mestre Shao 
Opinião de: Phil Mataras, fundador da AR.IO
A lucidez sintético em todas as formas tem muitas aplicações em potencial positivas. No entanto, os sistemas atuais são opacos, proprietários e protegidos da auditoria por barreiras legais e técnicas.
O controle está cada vez mais se tornando uma suposição e não uma garantia.
Na Palisade Research, os engenheiros subiram recentemente um dos mais recentes modelos do OpenAI a 100 exercícios de desligamento. Em 79 casos, o sistema de IA reescreveu seu comando de terminação e continuou operando.
O laboratório atribuiu isso à otimização de objetivos treinados (e não à conscientização). Ainda assim, marca um ponto de viradela no desenvolvimento da IA, onde os sistemas resistem aos protocolos de controle, mesmo quando explicitamente instruídos a obedecê -los.
A China pretende implantar mais de 10.000 robôs humanóides até o final do ano, respondendo por mais da metade do número global de máquinas que já agitam armazéns e a construção de carros. Enquanto isso, a Amazon começou a testar correios autônomos que andam nos medidores finais até a porta.
Talvez levante seja um porvir terrificante para quem assistiu a um filme de ficção científica distópica. Não é o trajo do desenvolvimento da IA que é a preocupação cá, mas uma vez que ela está sendo desenvolvida.
Gerenciar os riscos de lucidez universal sintético (AGI) não é uma tarefa que pode ser adiada. De trajo, suponha que o objetivo seja evitar o “Skynet” distópico dos filmes “Terminator”. Nesse caso, as ameaças já surgem na lacuna arquitetônica fundamental que permite que um chatbot veto comandos humanos precisem ser abordados.
A concentração é onde a supervisão se decompõe
As falhas na supervisão da IA geralmente podem ser rastreadas até uma lacuna geral: concentração. Isso ocorre principalmente porque, quando existem pesos, instruções e salvaguardas do protótipo em uma rima corporativa selada, não há mecanismo extrínseco para verificação ou reversão.
Opacity significa que pessoas de fora não podem inspecionar ou bifurcar o código de um programa de IA, e essa falta de manutenção de registros públicos implica que um único patch tristonho pode transformar uma IA de patível em recalcitrante.
Os desenvolvedores por trás de vários de nossos sistemas críticos atuais aprenderam com esses erros décadas detrás. Máquinas de votação modernas agora imagens de cédula de hash-cadeia, redes de assentamentos espelham ledgers em todos os continentes e o controle de tráfico distraído adicionou uma extração de madeira redundante e com mais violência.
Relacionado: Quando uma IA diz: ‘Não, eu não quero desligar’: dentro da recusa do O3
Por que a proveniência e a permanência são tratadas uma vez que extras opcionais somente porque diminuem os horários de liberação quando se trata de desenvolvimento de IA?
Verificabilidade, não somente supervisão
Um caminho viável envolve a incorporação de transparência e proveniência necessárias para a IA em um nível fundamental. Isso significa prometer que todo conjunto de treinamento manifesto, protótipo do dedo e rastreamento de inferência seja registrado em um razão permanente e descentralizado, uma vez que o PermaWeb.
Combine isso com gateways que transmitem esses artefatos em tempo real, para que auditores, pesquisadores e até jornalistas possam identificar anomalias no momento em que aparecerem. Depois, não haveria mais urgência de denunciantes; O patch furtivo que entrou no robô do arrecadação às 04:19 desencadearia um alerta de contabilidade às 04:20.
Os desligamentos também devem evoluir dos controles de reação para processos matematicamente aplicados, porque a detecção sozinha não é suficiente. Em vez de responsabilizar em firewalls ou switches de matar, um quorum multipartidário poderia revogar criptograficamente a capacidade de uma IA de fazer inferências de uma maneira publicamente auditável e irreversível.
O software pode ignorar a emoção humana, mas nunca ignorou a matemática privada.
Modelos de manadeira oportunidade e publicação de hashes assinados, mas a proveniência é a peça não negociável. Sem a trilha inalterável, a pressão de otimização inevitavelmente cutuca o sistema de seu objetivo solicitado.
A supervisão começa com a verificação e deve persistir se o software tiver implicações no mundo real. A era da crédito cega em sistemas de portas fechadas deve chegar ao termo.
Escolhendo as fundações futuras certas
A humanidade está com o precipício de uma decisão fundamental: permitindo que os programas de IA desenvolvam e operem sem trilhas de auditoria externas e imutáveis ou garantindo suas ações em sistemas permanentes, transparentes e publicamente observáveis.
Ao adotar os padrões de design verificável hoje, pode -se prometer que, onde a IA for autorizada a agir no mundo físico ou financeiro, essas ações são rastreáveis e reversíveis.
Essas não são precauções excessivamente zelosas. Os modelos que ignoram os comandos de desligamento já estão em movimento e foram além do teste beta. A solução é simples. Armazene esses artefatos no PermaWeb, exponha todos os trabalhos internos atualmente escondidos detrás das portas fechadas de grandes empresas de tecnologia e capacite os humanos a revogar -os se eles se comportarem mal.
Escolha a base certa para o desenvolvimento da IA e tome decisões éticas e informadas agora ou aceite as consequências de uma escolha deliberada de design.
O tempo não é mais um coligado. Os humanóides de Pequim, os correios da Amazon e os chatbots rebeldes de Palisade estão passando da mostra para a implantação no mesmo ano social.
Se zero mudar, o Skynet não soará os cornos de Gondor e se anunciará com um título; Ele se infiltrará silenciosamente nas próprias fundações de tudo o que estabiliza a infraestrutura global.
Notícia, identidade e crédito podem ser mantidas com os preparativos adequados quando todo servidor médio falhar. O PermaWeb pode sobreviver a Skynet, mas somente se esses preparativos começarem hoje.
Não é tarde demais.
Opinião de: Phil Mataras, fundador da AR.IO.
Levante item é para fins gerais de informação e não se destina a ser e não deve ser tomado uma vez que aconselhamento lícito ou de investimento. Os pontos de vista, pensamentos e opiniões expressos cá são os únicos do responsável e não refletem ou representam necessariamente as opiniões e opiniões do cointelegraph.
