Dogun Kim

https://dogunkim.tistory.com/92 5. Data Compression 2https://dogunkim.tistory.com/91 5. Data Compression 1보호되어 있는 글입니다. 내용을 보시려면 비밀번호를 입력하세요.dogunkim.tistory.com 정보 압축을 본격적으로 공부하기 전에, 공 무게 문제, 63 게임, 잠수함dogunkim.tistory.com > 요약1) 정보량 공부 모든 사건에 대하여 정보를 구분해서 기록하거나 보내기 위한 평균 비트 수 = 얻는 평균 정보량이 바로 샤먼 엔트로피다. Shannon Information Content 샤논 정보량 척도하나의 사건이 일어났을 때 얻는 정보량 h​얻는 정보량 = 처낸 정보량 = 줄어든 불확실성 양 = 구..

https://dogunkim.tistory.com/91 5. Data Compression 1보호되어 있는 글입니다. 내용을 보시려면 비밀번호를 입력하세요.dogunkim.tistory.com 정보 압축을 본격적으로 공부하기 전에, 공 무게 문제, 63 게임, 잠수함 게임을 풀어보며 얻는 정보량 Information Gain, 즉 샤논 엔트로피 척도를 이해했다. 요약) 1) 얻는 정보량를 최대로 한다 = 불확실성을 최소로 한다 = 쳐 내는 정보를 최대로 하자. 얻는 정보량 = 쳐내는 정보 개수2) 모든 경우의 수를 Ω라고 하고, 내가 i 번째 행동을 했을 때 남는 경우의 수를 Ωi라고 했었다. 이 때 쳐내는 경우의 수 즉 쳐내는 정보는 Ω -Ωi일 것이다.3) i 번째 사건이 일어날 확률은 p..

우리는 5장에서 궁극적으로 데이터를 압축하는 것에 대해 공부할 것이다. 데이터 압축, 즉 정보의 압축이란 중복((redundant)) 정보를 제거하는 것이다. 이러한 압축은 1)손실 없는 압축과 2)손실 있는 압축으로 나뉜다. 우선 이번 글에서는 데이터 압축을 이해하기 위해 관련된 문제들을 풀어보며, 먼저 **정보의 수학적 표현 및 잃고 얻는 정보량을 어떻게 수량화할 것인가를 알아보자. 이를 알아야 정보 압축을 이해할 수 있다. Ball weighing problem 12개의 공이 있고, 저울을 사용하여 우리는 이 중 하나의 가벼운 공 혹은 무거운 공을 찾는 문제가 있다. 이 하나의 공((odd))을 제외하면 나머지 공의 무게는 같다. 이 때, 저울을 최소로 사용하려면 어떤 전략을 취해야 할까? 이 때..