Federated Learning 내 맘대로 정리

Federated Learning : 연합 학습

다수의 로컬 클라이언트와 하나의 중앙 서버가 협력하여 데이터가 탈중앙화된 상황에서 글로벌 모델을 학습하는 기술.

 

대부분의 DL/ML 모델들은, big data를 기반으로 학습하는데 이런 데이터 수집 과정에서 많은 개인정보 보안 이슈가 생길 수 있다. 연합학습은, 데이터를 메인 서버가 아닌, 개개인의 로컬 클라이언트에 두고 그 로컬 클라이언트에서 학습을 수행한 후, 업데이트된 모델의 파라미터들을 중앙 서버로 보내 취합해서 하나의 모델을 업데이트 하는 것이다. 그러면 중앙 서버는 데이터를 가지지 않고 있음에도, 그 데이터를 이용해 학습한 효과를 낸다.

 

 

연합 학습의 장점

데이터 프라이버시 향상 (데이터가 네트워크를 타고 이동하지 않아 유출 위험 줄어듦)

커뮤니케이션 효율성(네트워크 비용 : 데이터 이동 > 파라미터 이동)

 

 

간단 알고리즘

https://arxiv.org/pdf/1602.05629.pdf

Federated Averaging Algorithm, McMahan et al. 2016

1. 서버에 메인 모델을 준비

2.  K개의 클라이언트들 중, (효율성을 위해) 랜덤하게 m개를 고르고 서버에 있는 메인 모델을 보냄.

3. 각 클라이언트 내에서 클라이언트들이 가지고 있는 로컬 데이터를 이용해서 메인 모델을 학습.

4. 그 결과 weight를 다시 서버로 보냄

5. 그렇게 모인 weight들의 가중평균을 취해 서버의 모델을 업데이트. (가중평균 : 각 클라이언트가 가지고 있는 데이터수에 따름)

 

가중치 계산 방법

 

이때, 정말 나눠진 파라미터를 합친다고 잘 작동할까? 라는 의문점이 생김. 아래 실험이 이 궁금증을 해결.

이는 MNIST data를 federated learning한 loss 결과인데, 왼쪽은 초기에 모델 파라미터를 각각 initialize한 뒤, 각자 훈련시켜 합친 결과이고 오른쪽은 초기에 하나의 모델 파라미터를 initialize한 뒤, 그 모델에 대해 각각 훈련시켜 합친 결과. 동일한 초기 랜덤 파라미터를 가지고 각각 학습한 모델의 파라미터를 합친 모델은 성능이 훨씬 잘 나온다.

 

그림으로 보는 동작 방식은 다음과 같다.

From federated learning to federated neural architecture search: a survey

 

연합학습의 두가지 방식

Cross-silo FL

기업&단체가 연합. 즉, 클라이언트는 조직으로 구성됨. 그래서 클라이언트는 모두 비익명.

미리 계획된 학습이기 때문에 학습이나 합치는데 실패할 가능성이 적다.

 

Cross-device FL

로컬 디바이스가 연합. 즉, 클라이언트는 많은 수의 모바일 기기 (혹은 IoT 기기)

각 클라이언트가 익명으로 존재하여, "악의적 사용자"가 존재할 수 있음.

 

 

지금까지 발견된 문제와 해결책들

- 연합학습을 위한 적절한 훈련법

기존에는 보통 대규모 데이터셋에 적합한 SGD같은 최적화 알고리즘을 사용. 그러나 연합 학습에서 데이터는 매우 고르지 않은 방식으로 수백만 대의 장치에 분산되어있음. 또한 이러한 장치(로컬 디바이스)는 대기 시간이 훨씬 더 길고 처리량이 낮은 연결을 제공하며 간헐적으로만 train에 사용할 수 있습니다.

=> 최신 모바일 장치의 강력한 프로세서를 사용하여 단순한 그래디언트 단계보다 더 높은 품질의 업데이트를 계산하는 것

 

- 정말 안전한가? (데이터 유출 문제)

Deep Leakage from Gradients : gradient를 가지고 역으로 데이터를 복원함. (dummy 입력 데이터를 만든 뒤 이 입력에 대한 현재 모델의 gradient를 계산하고, 이 gradient가 목표하는 gradient에 가까워지도록 데이터 자체를 update)

 

- 모델에 다른 영향은없는가?

Adversarial attack(poisoning attack) : local model들을 통합해서 global model을 업데이트하는 방식이라 클라이언트가 자신의 local model에 모델에 대해서 adversarial 데이터를 넣으면 모델의 성능이 낮아짐.

=>  방어기법(adversarial training)도 연구중

 

(여기서부터는 https://arxiv.org/abs/1912.04977 참조)

- 중앙서버의 문제점

단일 서버 모델이라 single point of failure 문제가 있고, 항상 서비스 가능한 상태가 아니라 장기적으로 보면 문제가 발생할 수도 있음

=> 해결책 : Fully Decentralized Learning (완전 탈중앙 학습) : 커뮤니케이션 방식을 Peer-to-Peer(P2P)로 변화

 

- P2P 방식의 완전 탈중앙 학습의 문제점

1. 네트워크 토폴로지&비동기 통신 문제

: 모든 노드는 완전하게 연결되어 있지만 메시지가 특정 확률로 도달하지 않는 상황에서도 견고함(robustness)이 필요.

 

2. 탈중앙 SGD의 로컬 업데이트 문제
: 로컬 디바이스가 글로벌 모델과 커뮤니케이션 하기 전에 몇 번의 로컬 업데이트를 발생할 것인지 결정하는 건 중요한 문제다.(why?)

일반적으로 한번의 로컬 업데이트 이후 글로벌 모델로 합치는게 Non-IID 데이터 환경에서 수렴이 잘 된다고 알려져 있지만, 통신 비용이 증가하기 때문에 빠르게 수렴을 하는 것은 어렵다.

 

3. 신뢰 문제

P2P는 참여와 이탈이 자유로워서 악의정인 공격자나 신뢰할 수 없는 데이터가 학습에 사용될 수 있음.

 

4. 개인화

: 글로벌 모델을 각 로컬 디바이스의 용도에 따라 변형하여 사용할 수 있어야 한다는 특징. (Ex/ next-word prediction 언어 모델을 생성한다고 할 때, 각 로컬 디바이스는 서로 다른 언어를 사용하기 때문에 글로벌 모델을 로컬에 적용할 때 다른 feature를 가진 모델이 필요) => 간단하게는 User Context 값을 입력값에 추가하는 방법. + 최근에는 글로벌 모델을 로컬에서 Fine-Tuning하는 연구 진행 중.

 

=> 해당 논문에서는 완전 탈중앙 학습의 문제 해결책으로 블록체인과 스마트 컨트랙트를 잠재적 해결책의 후보군으로 언급

 

- 데이터의 non-IID 문제

Non-IID(Independent and Identically Distributed) : 데이터가 "비독립적"이고, "동일하지 않게 분산"됨.

즉, 각 클라이언트듸 데이터는 종속적일 수 있고, 동일한 확률분포를 가지고 있지 않다는 뜻이다. 때문에 글로벌하게 최적화된 모델을 만드는 데 어려움이 있다. 

=> 최근에 나온 해결책 : 데이터셋 증류(dataset distillation)

 

- Adversarial attack 문제

보통 모델 파라미터는 중앙 서버에서만 존재해, 클라이언트는 모델 내부를 볼 수 없는 "black-box" 시스템이다. 그러나 FL은 로컬 클라이언트에게 메인 모델이 전달되고, 거기서 업데이트 하다 보니 사용자가 모델의 내부를 볼 수 있는 "white-box" 시스템이다. 상대적으로 black box모다 white box가 적대적인 공격에 훨씬 취약하며, 아직 연구된 바는 없지만 FL에서만 통하는 잠재적인 adversarial vector가 있을 수도 있다. 

공격 방식에는 Model update poisoning (파라미터값 오염), data poisoning(데이터 오염), evasion attack(adversarial examples)

 

 

 

응용 분야

- Intelligent recommendation

1. 구글 키보드의 추천 알고리즘의 개선 : Gboard

gboard에 제안된 쿼리가 표시되면, 휴대전화는 그 제안을 클릭했는지 여부에 대한 정보를 로컬에 저장. Federated learning은 기기에서 기록을 처리해서 gboard의 쿼리제안모델의 다음 반복에 대한 개선 사항을 제안.

(로컬 디바이스 내 Train에서는 TensorFlow 의 축소 버전 사용 + 장치가 유휴 상태 + 충전중 + 와이파이 일 때만 train 수행 => 휴대폰 성능에 영향을 미치지 않는다(주장))

https://ai.googleblog.com/2017/04/federated-learning-collaborative.html

Federated Learning: Collaborative Machine Learning without Centralized Training Data

 

2. 더 적은 문자를 입력해서 원하는 웹사이트 찾을 수 있도록 도움.

 

 

- Vehicular network (차량 네트워크)

GPS에서 감지한 위치 및 방향, 차량에 탑재된 카메라로 캡처한 이미지, 유압 센서의 압력 데이터와 같이 차량에서 장치가 생성하는 데이터는 자동차 제조업체가 지능형 내비게이션 서비스를 제공하고 조기에 조기에 발견할 수 있는 귀중한 자원 => 이를 이용해서 train을 할 수 있음.

 

- Healthcare system

1. 의료 분야 : 환자 데이터와 같이 민감한 데이터를 유출하지 않으면서 모델을 학습 가능.

 

그 외 : A Survey on Federated Learning and its Applications for Accelerating Industrial Internet of Things

(https://arxiv.org/ftp/arxiv/papers/2104/2104.10501.pdf) 

- 현재 응용(연구) 분야

FL for IIoT

Healthcare & Medical (HM)

Recommender System (RS)

Smart Transportation (ST)

Localization Service (LS)

Mobile Packet Classification (MPC)

Payment in Smart Finance (SF)

Data Relevance Analysis (DRA)

Object Detection in Computer Vision (CV)

Traffic Sign Classification in Smart City (SC)

Energy Prediction in Smart Energy (SE)

Anomaly Detection and Voice Assistant in Smart Building (SB)

Collision Detection and Imitation Learning in Autonomous Driving (AD)

 

 

- 앞으로 가능성 있는 응용 분야

AR/VR-guided operations

Precise robotics collaboration

Industrial environmental monitoring.

Product defect detection.

Optimal supply chain scheduling

Generative product design

Security

 

 

 

 

---

reference

https://seewoo5.tistory.com/22

Privacy Preserving Machine Learning (1) - Federated Learning

https://zzaebok.github.io/federated_learning/machine_learning/Federated_Learning/

Federated Learning 정리

https://medium.com/curg/%EC%97%B0%ED%95%A9-%ED%95%99%EC%8A%B5-federated-learning-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%B1%8C%EB%A6%B0%EC%A7%80-b5c481bd94b7

연합 학습(Federated Learning), 그리고 챌린지

https://www.hitechnectar.com/blogs/applications-of-federated-learning/

5 Applications of Federated Learning

https://arxiv.org/ftp/arxiv/papers/2104/2104.10501.pdf