I. AI 문해력(AI Literacy) 의무

1. AI 문해력 확보 의무

(1) 규제 요지

AI 시스템의 제공자(provider) 및 활용자(deployer)는 AI 시스템을 운영·사용하는 직원 등에게 충분한 AI 문해력(AI literacy)을 갖추도록 조치를 취해야 합니다.

(2) 의무 내용(핵심 요소)

• 직원 및 운영 담당자 교육 조치

• 기술 수준, 경험, 교육 수준, 시스템 사용 환경 고려

• 영향을 받는 사람(affected persons)의 특성 고려

(3) 법적 근거

• Article 4 (AI literacy)

(4) 한국 적용 시사점

• 공공기관(경찰, 지자체, 교통·재난안전기관)이 AI 도입 시 “AI 운영자 교육훈련 의무조항”을 법률 또는 시행령·지침에 삽입할 수 있음. 향후 사고 발생 시 책임소재(기관 과실) 판단에서 중요한 기준이 될 수 있음.

[AI 이미지 생성]

II. 금지되는 AI 관행(Prohibited AI Practices)

EU는 일정 유형의 AI를 “규제”가 아니라 원칙적 금지 대상으로 규정합니다.

2. 금지 AI 행위 총칙

(1) 규제 요지

EU는 아래 AI 행위의 “시장 출시(placing on the market)”,
“서비스 투입(putting into service)”, “사용(use)”을 금지합니다.

(2) 법적 근거

• Article 5(1)

3. 잠재의식 조작·기만 AI 금지

(1) 금지 내용

사람이 인식하지 못하는 잠재적 자극(subliminal) 또는 조작적·기만적 기술을 사용해 의사결정을 왜곡하고, 그 결과 중대한 해악(significant harm)을 발생시키거나 발생 가능성이 있으면 금지합니다.

(2) 요건 핵심

• “목적 또는 효과”가 행동 왜곡일 것

• “중대한 해악” 발생 또는 발생 가능성이 있을 것

(3) 법적 근거

• Article 5(1)(a)

(4) 한국 적용 시사점

• AI 광고·추천 알고리즘이 취약계층을 “속여서” 사기성 거래로 유도하는 경우 단순 표시 의무가 아니라 사용 자체 금지 모델을 도입 가능.

4. 취약계층(연령·장애·사회경제) 악용 AI 금지

(1) 금지 내용

노인, 장애인, 경제적 취약계층 등 취약성을 이용하여 행동을 왜곡하고 중대한 피해를 유발하거나 유발 가능성이 있으면 금지됩니다.

(2) 법적 근거

• Article 5(1)(b)

(3) 한국 적용 시사점

• 보이스피싱 AI 자동화(노인 타깃 음성합성/상담 AI)는 “불법정보통신” 규제 수준을 넘어 AI 자체 금지행위로 별도 규정할 근거가 됨.

5. 사회적 점수제(Social Scoring) AI 금지

(1) 금지 내용

AI로 개인의 사회적 행동이나 성향을 점수화하여 그 점수 때문에 다음 불이익을 주는 행위는 금지됩니다.

• (i) 데이터 수집 맥락과 무관한 영역에서 불이익 처우

• (ii) 행위의 중대성 대비 부당하거나 과도한 불이익 처우

(2) 법적 근거

• Article 5(1)(c)(i)~(ii)

(3) 한국 적용 시사점

• “플랫폼 이용자 평판점수”가 금융·고용·보험 등으로 확대되는 경우 사회적 차별 시스템으로 발전할 위험이 크므로 국내에서도 규제 필요.

6. 범죄 위험성 예측(프로파일링 기반) AI 금지

(1) 금지 내용

AI로 개인의 성향, 성격특성, 프로파일링만으로 “범죄 가능성”을 예측하는 시스템은 금지됩니다.

(2) 예외(허용 범위)

AI가 단독 판단을 하는 것이 아니라, 이미 객관적·검증 가능한 사실에 기반한 인간 판단을 지원하는 경우는 허용됩니다.

(3) 법적 근거

• Article 5(1)(d)

(4) 한국 적용 시사점

• 한국 경찰의 “범죄예측 시스템”은
  (1) 인간 판단 보조
  (2) 객관적 범죄정보 기반
  (3) 단독결정 금지
  형태로 설계하지 않으면 EU 방식 기준에서 금지에 가까워짐.

7. 무차별 얼굴 이미지 스크래핑 기반 얼굴DB 구축 금지

(1) 금지 내용

인터넷·CCTV에서 무차별적으로 얼굴 이미지를 수집(scraping)해 얼굴인식 데이터베이스를 구축·확장하는 행위는 금지됩니다.

(2) 법적 근거

• Article 5(1)(e)

(3) 한국 적용 시사점

• 국내에서 CCTV 기반 얼굴인식 추진 시 “동의 없는 수집”을 제한하지 않으면 헌법상 개인정보 자기결정권 문제로 직결될 수 있음.

8. 직장·교육기관 감정인식 AI 금지

(1) 금지 내용

직장 또는 교육기관에서 개인의 감정 상태를 추정·판단하는 AI 시스템은 금지됩니다.

(2) 예외

의료 목적 또는 안전 목적이면 예외적으로 허용 가능합니다.

(3) 법적 근거

• Article 5(1)(f)

(4) 한국 적용 시사점

• 노동감시 AI, 교실 감정평가 AI는 한국에서도 인권침해 논란이 매우 크므로 EU 규정은 강력한 참고 기준이 됨.

9. 민감정보(정치·종교·노조 등) 추론 목적 생체분류 AI 금지

(1) 금지 내용

생체정보를 이용해 다음 민감정보를 추론하는 생체분류 시스템은 금지됩니다.

• 정치적 견해

• 노조 가입 여부

• 종교·철학적 신념

• 인종

• 성생활 또는 성적 지향 등

(2) 법적 근거

• Article 5(1)(g)

(3) 한국 적용 시사점

• AI CCTV/영상분석이 “외모 기반 성향 추정”으로 발전할 경우 차별적 기술로 분류되어 국내도 강력히 제한할 필요가 있음.

10. 공공장소 실시간 원격 생체인식(실시간 얼굴인식 등) 법집행 목적 사용 금지

(1) 금지 내용

공공장소(publicly accessible space)에서 법집행 목적의 실시간 원격 생체인식(real-time remote biometric identification)은 원칙적으로 금지됩니다.

(2) 예외 허용 목적(엄격 제한)

아래 목적에서만 “엄격히 필요한 범위”로 허용 가능:

• 특정 범죄 피해자·실종자 수색

• 생명·신체에 대한 중대한 위협 또는 테러 방지

• 중대범죄(부속서 열거 범죄) 수사 관련 용의자 특정 등

(3) 법적 근거

• Article 5(1)(h)(i)~(iii)

(4) 절차적 통제(핵심 요건)

• 특정 대상 확인을 위한 사용으로 제한

• 사전 승인 원칙(사법기관 또는 독립행정기관 승인)

• 긴급 시 24시간 내 승인 신청 필요

• 승인 거부 시 즉시 중단 및 데이터 삭제

• AI 결과만으로 불리한 법적 효과 결정 금지

(5) 근거(세부 통제 관련)

• 승인 및 긴급 예외 절차: “AI 출력만으로 불리한 결정 금지”:

(6) 한국 적용 시사점

• 한국에서 “실시간 얼굴인식 CCTV”를 치안 목적으로 도입하려면 EU처럼 사전 사법통제 + 사용범위 제한 + 데이터 삭제 + AI 단독결정 금지를 제도화해야 안정적임.

• 
  

III. 투명성 의무(Transparency Obligations)

11. 사람과 상호작용하는 AI는 AI임을 고지해야 함

(1) 규제 내용

AI 시스템이 사람과 직접 상호작용할 경우, 상대방이 “AI와 상호작용 중”임을 알 수 있도록 해야 합니다.

(2) 예외

• AI임이 명백한 경우 법률상 범죄 수사·예방 목적 등

(3) 법적 근거

• Article 50(1)

(4) 한국 적용 시사점

• 공공기관 민원 챗봇 운영 시 “AI 상담임을 명확히 고지”하도록 의무화 가능.

12. 합성 콘텐츠(텍스트·음성·영상·이미지 등)는 탐지 가능하게 표시해야 함

(1) 규제 내용

AI가 생성·조작한 콘텐츠는 기계판독 가능하고 탐지 가능한 방식으로 표시해야 합니다.

(2) 예외

• 편집 보조 수준(실질적 조작이 아닌 경우) 법률상 허용된 경우 등

(3) 법적 근거

• Article 50(2)

(4) 한국 적용 시사점

• AI 딥페이크 범죄 대응을 위해 국내도 “AI 콘텐츠 워터마킹/탐지표시 의무”를 법제화할 수 있음.

13. 감정인식/생체분류 AI 사용 시 노출 대상에게 고지해야 함

(1) 규제 내용

감정인식(emotion recognition) 또는 생체분류(biometric categorisation) AI를 사용할 경우
그 대상이 되는 자연인에게 고지해야 합니다.

(2) 법적 근거

• Article 50(3)

(3) 한국 적용 시사점

• 공공 CCTV에 감정분석/연령추정 AI 적용 시 개인정보 보호와 결합된 강력한 고지·통제 규정 필요.

14. 딥페이크(Deepfake) 공개 의무 + 공익목적 AI 텍스트 공개 의무

(1) 딥페이크 공개 의무

AI로 생성·조작된 이미지·음성·영상(딥페이크)을 공개하는 경우 AI 생성/조작물임을 공개해야 합니다.

(2) 공익목적 텍스트 공개 의무

AI가 생성·조작한 텍스트를 공익 목적(공공에 정보를 제공하는 목적)으로 게시하는 경우, AI 생성/조작 사실을 공개해야 합니다.

(3) 예외

• 예술/풍자/창작물의 경우 제한적 공개로 완화 가능

• 법집행 목적 또는 편집책임이 있는 인간 검토가 있는 경우 예외

(4) 법적 근거

• Article 50(4)

(5) 한국 적용 시사점

• “AI 작성 보도자료/홍보문” 문제를 예방하기 위해 공공기관 및 언론·홍보 콘텐츠에 “AI 생성 고지” 제도 도입 가능.

15. 투명성 고지의 제공 시점 및 방식

(1) 규제 내용

투명성 정보는 명확하고 구별되게 제공해야 하며, 최초 상호작용 또는 최초 노출 시점까지 제공되어야 합니다.

(2) 법적 근거

• Article 50(5)

• 
  

IV. 범용 AI 모델(GPAI Model) 규제

16. 범용 AI 모델 정의

(1) 규제 내용

다양한 목적에 사용 가능하고 여러 서비스에 통합될 수 있는 모델은 범용 AI 모델로 정의됩니다.

(2) 법적 근거

• 정의: (63) general-purpose AI model

17. 시스템 리스크(Systemic Risk) 정의

(1) 규제 내용

초거대 AI 모델이 가진 고영향 능력 때문에 사회 전반에 확산될 수 있는 위험을 “systemic risk”로 정의합니다.

(2) 법적 근거

• 정의: (65) systemic risk

18. 시스템 리스크 GPAI 분류 기준

(1) 규제 내용

다음 중 하나를 충족하면 시스템 리스크 모델로 분류됩니다. 

고영향 능력이 기술적 도구·지표·벤치마크로 확인되는 경우

• EU 위원회 결정에 따라 동등 수준의 영향력이 인정되는 경우

(2) 법적 근거

• Article 51(1)(a)~(b)

19. FLOPs 기준(10^25) 추정 규정

(1) 규제 내용

훈련 연산량이 10^25 FLOPs 초과이면 고영향 모델로 추정합니다.

(2) 법적 근거

• Article 51(2)

(3) 한국 적용 시사점

• 한국도 “모델 규모 기준(연산량, 파라미터)”을 법에 넣으면 객관적 규제 기준이 되어 법적 안정성이 매우 높아짐.

V. 벌칙 및 과징금(Penalties)

20. 벌칙 총칙

(1) 규제 내용

회원국은 위반행위에 대해 효과적·비례적·억지력 있는 벌칙을 마련해야 합니다.

(2) 법적 근거

• Article 99(1)

21. 금지 AI(Article 5) 위반 과징금

(1) 규제 내용

금지행위 위반은 가장 강력한 제재 대상입니다.

(2) 과징금 수준

• 최대 35,000,000 유로 또는 전세계 매출의 7% 둘 중 더 큰 금액
  

• (3) 법적 근거

  • Article 99(3)

    
    

• 
  

  • 
    

• 22. 제공자·활용자 의무 위반 과징금

(1) 규제 내용

제공자(provider), 수입자(importer), 유통자(distributor), 활용자(deployer) 의무 위반 등에 적용됩니다.

(2) 과징금 수준

• 최대 15,000,000 유로 또는 전세계 매출의 3%
  

(3) 법적 근거

• Article 99(4)

23. 허위·불완전·오해 소지 정보 제출 과징금

(1) 규제 내용

감독기관이나 통지기관에 잘못된 정보를 제공하면 과징금 부과.

(2) 과징금 수준

• 최대 7,500,000 유로 또는 전세계 매출의 1%
  

(3) 법적 근거

• Article 99(5)

24. 중소기업(SME) 과징금 완화

(1) 규제 내용

SME(스타트업 포함)의 경우 금액/비율 중 더 낮은 기준을 적용합니다.

(2) 법적 근거

• Article 99(6)

(3) 한국 적용 시사점

• 국내도 AI 규제에서 “대기업-스타트업 차등”을 두면 산업 경쟁력 유지 가능.

VI. 한국형 법제화 관점에서 EU AI Act의 핵심 설계 포인트(정리)

EU AI Act는 결국 다음 5가지를 제도화한 법입니다.

(1) 금지 AI 리스트를 명확히 규정

• Article 5(1)(a)~(h)

(2) 치안 AI는 “실시간 얼굴인식”을 원칙 금지 + 예외 허용

• Article 5(1)(h)

(3) AI 사용은 반드시 “투명성 고지”를 통해 국민이 알 수 있게 함

• Article 50(1)~(5)

(4) 초거대 모델은 “시스템 리스크”로 별도 관리

• Article 51(1)~(2)

(5) 실효성 있는 매출연동 과징금

• Article 99(3)~(6)

#EUAIACT
#EUAIACT2024
#EU_AI_ACT
#AIAct2024
#Regulation2024_1689
#EURegulation1689
#ArtificialIntelligenceAct
#AIRegulation
#AICompliance
#AI윤리
#AI규제
#AI법제
#AI정책
#AIGovernance
#TrustworthyAI
#ResponsibleAI
#HumanCentricAI