안전

약속이 아니라 확인할 수 있는 한계.

우리는 인공 초지능을 향해 나아가고 있기에, 도구의 안전이 확인 가능한 것에 근거하기를 바랍니다. 우리의 접근 방식과 해결되지 않은 문제를 소개합니다.

언어의 설계 방식

범위가 정해진 동작

구현된 프로필은 구체적인 한계와 거부 동작을 정의합니다. 이러한 경계를 확인할 수 있지만 모든 위험을 다루지는 않습니다.

재현 가능한 결과

실행을 재현하고 검사할 수 있도록 설계하여 결과를 비교하고 검증할 수 있습니다.

권한 분리

PEGS는 테스트를 생성하지만 채점할 수 없습니다. VECS는 자체 기준을 바꿀 수 없습니다. IDNL은 선택지를 검토하지만 실행할 수 없습니다. CXAU는 읽기 전용으로 감사합니다.

정직한 기록

MEMC는 제외된 컨텍스트를 추적하고, APLD는 계보를 기록하며 검증하지 못한 것을 보고하고, FVLR은 명시된 가정 안에서만 주장합니다.

해결되지 않은 문제

  • 언어별 성숙도는 다르며 많은 기능이 여전히 제한적 프로토타입입니다. 내부 테스트 통과만으로 독립 적합성, 보안 또는 실제 서비스 준비가 입증되지는 않습니다.
  • 실제 집행은 언어를 둘러싼 시스템에 달려 있습니다. 호스트가 권한을 부여하고, 독립된 컨트롤러가 물리적 안전을 집행해야 합니다.
  • KCSL에는 오프라인 정책 검사 프로토타입이 있지만 실시간 보안 집행이나 키·하드웨어 접근은 없습니다.
  • 우리 도구는 여전히 타사 언어에 의존합니다.
  • 어떤 언어도 그것만으로 인공지능을 안전하게 만들 수 없습니다. 우리는 고급 AI나 ASI의 안전 문제를 해결했다고 주장하지 않습니다.

각 언어의 범위와 한계 보기 →