728x90
반응형

 지금까지 scalar, list Type에 대해서 알아보았다. 이제 남은 대표적인 Type은 array, tensor, dictionary, DataFrame이 있는데, 이들은 앞서 다뤘던 두 Type에 비해 훨씬 심도 깊은 학습이 필요하므로, 특징만 간략히 설명하고 넘어가겠다.

 

 

array

Numpy의 array 

  • Python의 단점을 이야기할 때, 흔히들 느린 속도를 꼽는데, 이 이미지를 한 번에 종식시킬 수 있는 것이 바로 Numpy라는 모듈이며, 그 Numpy 모듈의 기본 Type이 바로 array다.
  • Numpy는 C언어, Fortran을 기반으로 만들어졌기 때문에 연산 속도가 매우 빠르며, 쉬운 것이 장점인 파이썬으로 구현되어 있기에 C언어를 공부하지 않고도 복잡한 수학 연산 문제를 아주 쉽고 빠르게 접근할 수 있다.
  • 특히 데이터 분석가의 친구인 판다스의 단점인 느린 속도를 해결할 수 있기 때문에 데이터 분석을 하고자 한다면, Numpy를 아주 잘 다룰 수 있어야 한다.
  • Numpy의 array는 Scipy, tensorflow, sklearn, Matplotlib, Pandas 등 빅데이터 분석에서 필수로 사용되는 모듈을 활용하는 데에 있어 기초가 되어준다.
  • 보다 상세한 내용은 추후 Numpy에 대해 자세히 학습할 때 이야기해보도록 하자.
# array를 사용하기 위해선 numpy 모듈을 가지고 와야한다.
>>> import numpy as np

# array는 list를 만들고 np.array() 함수에 넣어서 생성하기도 한다.
>>> a = [1,2,3,4,5]
>>> a_array = np.array(a)
>>> a_array
array([1, 2, 3, 4, 5])
  • numpy 모듈을 불러오는 import numpy as np는 "numpy를 수입(import) 해오겠다 np 처럼(as)" 이라고 곧이곧대로 해석해도 된다. 
    1. 이게 파이썬의 대표적인 장점 중 하나로 꼽히는 파이썬 코드가 우리가 실제로 사용하는 언어와 굉장히 가깝다는 것을 보여주는 대표적인 예시중 하나이다.
  • np는 numpy의 줄임말이며, Python은 "."을 기준으로 하여, 모듈로부터 하위 함수로 한 단계 한단계 내려가는 형태를 가지고 있다.
    • 즉, np.array()는 numpy 모듈의 array() 함수라는 뜻이다.
# array에 담겨있는 data type(dtype)은 상당히 중요하다.
>>> a_array.dtype
dtype('int32')


# 소수(float)로 구성된 array를 만들어보자
>>> b = np.arange(1, 10, 2, dtype = "float")
>>> b
array([1., 3., 5., 7., 9.])

>>> b.dtype
dtype('float64')
  • array.dtype은 array의 data type을 알 수 있다.
  • np.arange()은 앞서 list의 range와 비슷한 기능을 하며, array를 바로 생성한다.
  • array 내 data를 정수로 입력했다 할지라도 dtype을 "float"으로 지정하면 소수로 생성된다.

 

 

array 연산과 Broadcast

# Numpy의 array 연산은 R의 Vector 연산과 굉장히 유사하다.
>>> c = np.array([1, 3, 5, 7, 9])
>>> d = np.array([2, 4, 6, 8, 10])
>>> e = np.array([10, 20])


# 자리수가 동일한 array(vector)끼리는 동일한 위치의 원소끼리 연산이 이루어진다.
>>> print(c+d) 
[ 3  7 11 15 19]
>>> print(c*d)
[ 2 12 30 56 90]
>>> print(c/d)
[0.5        0.75       0.83333333 0.875      0.9]


# 자리수가 동일하지 않은 array(vector)간의 연산은 이루어지지 않는다.
>>> print(c + e)
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-12-3b9c09c64b20> in <module>
----> 1 print(c + e)

ValueError: operands could not be broadcast together with shapes (5,) (2,) 
  • Numpy의 array 연산을 보면 R의 Vector 연산과 꽤 유사한 것을 알 수 있다.
  • Numpy의 array는 Tensorflow의 기본 Type인 Tensor와 거의 동일한 개념으로 봐도 문제없다.
    1. Tensor란 다차원 배열(array)을 아우르는 말이며, 이 안에는 1차원 배열인 Vector와 2차원 배열인 Metrics를 포함하는 것이다.
    2. 선형 대수학의 관점에서 접근할 때, array에 보다 익숙해지기 위해 1차원 array는 단순하게 vector로 부르도록 하겠다.
  • shape(모양)이 동일하지 않은 array끼리 연산 시, ValueError가 발생한다.
# BroadCast
>>> c
array([1, 3, 5, 7, 9])

>>> c * 2
array([ 2,  6, 10, 14, 18])

>>> c + 2
array([ 3,  5,  7,  9, 11])

>>> c / 2
array([0.5, 1.5, 2.5, 3.5, 4.5])
  • 1차원 array에 scalar 값을 연산 시, array의 모든 원소에 scalar값이 연산된다.
# array를 여러개 쌓으면 행렬이 된다.
>>> f = np.array([[1, 3, 5, 7],[2, 4, 6, 8]])
>>> f * 2
array([[ 2,  6, 10, 14],
       [ 4,  8, 12, 16]])
 
 
# 행렬에 대한 Broadcast
>>> f = np.array([[1, 3, 5, 7],[2, 4, 6, 8]])
>>> f * np.array([10, 20, 30, 40])
array([[ 10,  60, 150, 280],
       [ 20,  80, 180, 320]])
  • m*n행렬에 대해 스칼라 값을 연산하거나  n*1 벡터를 연산하면 array의 Broadcast와 같은 방식으로 연산이 이루어진다.
#  행렬 곱
>>> f = np.array([[1, 3, 5, 7],[2, 4, 6, 8]])
>>> f * np.array([[10, 10, 10, 10], [20, 20, 20, 20]])
array([[ 10,  30,  50,  70],
       [ 40,  80, 120, 160]])
       

>>> g = np.array([[10,10],[20,20],[30,30],[40,40]])
>>> np.dot(f,g)
array([[500, 500],
       [600, 600]])
  • 형태(shape)가 동일한 행렬끼리 *+-/와 같은 연산 수행 시, 동일한 위치에 있는 원소끼리 곱해진다(이는 우리가 일반적으로 아는 행렬곱이 아니다.).
  • m*n행렬, n*o행렬과 같이 행렬곱이 가능한 대상을 np.dot(mat1, mat2)을 하는 경우 우리가 아는 행렬곱이 연산된다.

 

 

배열의 형태

# array의 shape
>>> vt1 = np.array([1,2,3,4])
>>> vt2 = np.arange(1, 5, 0.1)
>>> mat1 = np.array([[1,3,5,7],[2,4,6,8]])
>>> mat2 = np.array([[1,10],[2,20],[3,30],[4,40]])

>>> print(vt1.shape)
(4,)
>>> print(vt2.shape)
(40,)
>>> print(mat1.shape)
(2, 4)
>>> print(mat2.shape)
(4, 2)


# 형태 변환(reshape)
>>> vt1.reshape((4,1))
array([[1],
       [2],
       [3],
       [4]])
>>> mat2.reshape((2,4))
array([[ 1, 10,  2, 20],
       [ 3, 30,  4, 40]])
       
       
# 평활(Flatten)
>>> mat1
array([[1, 3, 5, 7],
       [2, 4, 6, 8]])
>>> mat1.flatten()
array([1, 3, 5, 7, 2, 4, 6, 8])

>>> mat2
array([[ 1, 10],
       [ 2, 20],
       [ 3, 30],
       [ 4, 40]])
>>> mat2.flatten()
array([ 1, 10,  2, 20,  3, 30,  4, 40])
  • 앞서 이야기했던 array의 shape은 Numpy를 다루는 데 있어 필수 사항이며, 나아가 딥러닝을 다루는데 주로 사용되는 모듈인 tensorflow를 사용할 때도 매우 중요하다.
  • 상당수의 연산 오류는 shape이나 dtype이 일치하지 않아 발생한다.
  • reshape() 함수를 이용해서 array의 형태를 바꿀 수 있다.
  • 우리가 일반적으로 2차원으로 아는 행렬은 flatten() 함수를 통해 수월하게 벡터화되며, 이는 텐서플로우 학습 시, 상당히 중요한 내용이다.
    1. 행렬이 1차원 배열로 변환 가능하다는 것은 우리가 아는 2차원으로 알고 있는 행렬은 사실 상 1차원임을 의미한다. 이에 대해선 추후 Numpy를 설명하면서 보다 자세히 짚고 넘어가도록 하겠다.

 

 

 Numpy의 핵심 Type인 array는 이를 공부하는 데만 해도 상당한 시간을 투자해야 하기 때문에 이번 포스트에서는 가장 기본적인 array의 성격들만 알아보았다.

 앞서 list를 학습할 때, 발생했던 상당 부분의 list의 한계점으로 여겨졌던 부분들은 array를 통해 대부분 해결 가능하다.

 또 다른 Type인 tensorflow의 tensor는 numpy의 array와 굉장히 유사하며, 함수에 약간의 차이가 있긴하나 거의 동일한 기능들이 존재한다. 또한, tensorflow 학습 시, keras를 위주로 쓰게 되며, 굳이 tensor로 연산하기보다 numpy의 array로 연산하는 것을 추천한다. 

  1. tensorflow에서 tensor를 다루는 함수는 numpy의 array를 다루는 함수와 기능이 거의 일치한다. 굳이 tensor를 다루는 함수를 공부하지 않아도 tensorflow를 다루는데 큰 지장이 없다.
  2. tensorflow에 대해 추후 학습하겠으나, tensorflow 2.0 version에 들어오며, keras를 주로 활용하여 딥러닝을 실시하게 될 것이다.
  3. 상세한 내용은 python-Numpy 카테고리에서 포스팅하도록 하겠다.
728x90
반응형
728x90
반응형

 이전 포스트에선 빅데이터 분석을 하며 눈에 익었던 Python Type이 무엇이 있는지와 그중 하나인 Scalar에 대해 간략하게 알아보았다. 이번 포스트에서는 list에 대해 이야기해보자.

 

 

list

# list는 Data를 담는 가장 기본적인 상자라고 생각하자
# list는 다음과 같은 방법으로 만들 수 있다.
# 1. [] 사용하기
>>> list1 = [1, 2, 3, 4, 5, 6, 7]
>>> print(list1)
[1, 2, 3, 4, 5, 6, 7]

# 2. list() 함수 사용하기
>>> list(range(10))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
  • list는 파이썬에서 가장 일반적인 데이터를 담는 type이다.
  • scalar(int, float, None, Boolean)뿐만 아니라 문자형(str)도 담을 수 있다.
  • 연산에 특화된 Type이 아닌 데이터를 담는 기본 그릇이라고 생각하는 것이 이해하기 쉽다.
  • list는 list() 함수, [] 안에 넣고자하는 Data를 넣어서 만들 수 있다.

 

Range

# range는 무엇인가?
>>> print(range(10))
range(0, 10)

# for문을 사용하여 range의 인자들을 출력해보자
>>> for i in range(10):
>>>    print(i)
0
1
2
3
4
5
6
7
8
9

# range()함수는 range(시작, 끝, 간격)으로 값을 내가 원하는 때에 호출할 수 있는 함수다.
>>> [i for i in range(4, 20, 2)]
[4, 6, 8, 10, 12, 14, 16, 18]
  • range() 함수는 꽤 자주 쓰이는 함수로, list와 꽤 친하니 이참에 설명하고 가겠다.
  • range(시작 값, 끝 값, 간격)을 입력하여 내가 원하는 패턴을 갖는 임의의 데이터를 생성할 수 있다.
  • 중요사항!) list에 data를 담는 경우, 그 data를 전부 생성해버리기 때문에 list를 생성하는 순간부터 memory를 쭉 잡아먹지만, range() 함수는 내가 원할 때, 그 값을 가지고 오기 때문에 memory 낭비가 발생하지 않는다.
    1. range() 함수를 출력하는 경우 range()라는 객체가 반환된다.
      • 객체란? 아주 단순하게 설명해보자면, X라는 함수를 통해 무언가를 만들어냈으나, 그 결과물이 가지고 있는 정보가 매우 다양해서 한 번에 다 보는 것이 어려운 상태이다.
      • 이 결과물에 특정 스위치를 붙이고 스위치를 켜주면, 그에 해당하는 정보를 볼 수 있다.
      • 즉, "내가 보여줄 수 있는 것은 아주 많은데, 뭘 원해?"라고 물어보고 있는 상태라고 생각하면 쉽다.
    2.  range() 함수로 생성된 range 객체는 당장 값이 나오지 않으며, for문과 같은 기능을 실행해주어야, 값을 반환한다.
      • 내가 원할 때, 값을 가지고 온다(for문을 실행)는 것은 제네레이터(Generator)와 유사해보이지만, range()는 엄밀히 따지면 Genarator가 아니다.
      • next() 함수를 이용해서 값을 꺼내면 오류가 발생한다.
      • 이는 추후 제네레이터를 설명할 때 다시 언급하도록 하겠다.

 

 

 

list의 연산

>>> a = [1,2,3,4]
>>> b = [5,6,7]
>>> print(a + b)
[1, 2, 3, 4, 5, 6, 7]


>>> print(a * b)
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-20-f9c8a447c001> in <module>
----> 1 print(a*b)

TypeError: cant multiply sequence by non-int of type "list"


>>> print(a * 3)
[1, 2, 3, 4, 1, 2, 3, 4, 1, 2, 3, 4]
  • Data가 담기는 그릇인 list는 연산보다는 Data를 담는 것이 주목적이다 보니 우리가 생각하는 연산과 다른 결과가 출력된다.
  • list와 list를 더 하면 두 list의 값이 합쳐지는(sum)것이 아닌 한 그릇으로 합쳐진다(extend).
  • list와 list의 곱은 데이터가 담긴 두 그릇을 곱하는 것이니 연산되지 않는다.
  • list에 int를 곱하면 데이터가 담긴 그릇을 그 int만큼 더 추가한다.
  • 이는 list가 연산이 아닌 데이터를 담는 그릇의 성질이 더 강하다는 것을 뜻한다. 때문에 list에는 숫자형과 문자형을 함께 담을 수도 있으며, 함께 담는다고 해서 데이터의 타입이 자동으로 바뀌지 않는다.

 

 

 

list의 인덱싱(슬라이싱)

# 내가 원하는 위치에 있는 값을 가지고 올 수 있다.
>>> c = list(range(20))
>>> print(c[3])
3
>>> print(c[5:12])
[5, 6, 7, 8, 9, 10, 11]

# list의 안에는 다른 list를 담을수도 있다!
>>> d = [3,5,7,['a', 'p', 'p', 'l', 'e']]
>>> print(d[3])
['a', 'p', 'p', 'l', 'e']
>>> print(d[3][3:])
['l', 'e']
  • Data를 담는 그릇인 list는 아주 쉽게 내가 원하는 위치에 있는 데이터를 가지고 올 수 있다.
  • list[위치]를 이용하면 그 위치에 있는 값을 가지고 온다.
  • Data를 담는 그릇인 list는 list 안에 list를 담을 수 있는데, 안에 있는 list를 가지고 오고 그 list 안에서 원하는 위치를 지정하면 똑같이 가져올 수 있다.
  • :는 가져오려는 index의 구간을 정해줄 수 있다.
# list에서 특정 조건에 맞는 값을 가지고 오기.
>>> print(c)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19]


# 1. list c에서 10 이상인 값들을 가지고 와보자.
>>> c >= 10
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-36-0a29ddccf71f> in <module>
----> 1 c >= 10

TypeError: '>=' not supported between instances of 'list' and 'int'


# 2. for문과 if문을 혼용하여 가져와보자
>>> result = []
>>> for i in c:
>>>     if i >= 10:
>>>         result.append(i)
>>>     
>>> print(result)
[10, 11, 12, 13, 14, 15, 16, 17, 18, 19]

# 3. 위 코드보다 단순하게 적어보자
>>> [i for i in c if i >= 10]
[10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
  • R이나 파이썬 numpy의 array는 c[c>=10] 처럼 단순한 코드로 조건에 해당하는 값을 가지고 올 수 있으나, list는 이 방법으로 data를 가지고 올 수 없다.
  • if문을 사용하여야하며, 아직 익숙하지 않은 사람이라면 "# 2. 주석"대로 코드를 짜는 것이 쉬우며, 어느 정도 코드에 익숙해진 후에는 "# 3. 주석"의 코드 같이 짧은 코드로 짜도록 하자.

 

 

 

기타 리스트에서 자주 쓰이는 함수

# 1. append: list에 값 추가
>>> e = []
>>> for i in range(2, 10, 2):
>>>     e.append(i)
>>>     
>>> print(e)
[2, 4, 6, 8]

>>> e0 = [1,3,5]
>>> e0.append([2,4,5])
>>> print(e0)
[1, 3, 5, [2, 4, 5]]




# 2. extend: list에 다른 list의 원소들을 추가하기
>>> e.extend([1,3,5,7])
>>> print(e)
[2, 4, 6, 8, 1, 3, 5, 7]




# 3. sort: 정렬
>>> e.sort(reverse = True)
>>> print(e)
[8, 7, 6, 5, 4, 3, 2, 1]

>>> e.sort()
>>> print(e)
[1, 2, 3, 4, 5, 6, 7, 8]




# 4. insert: 삽입
>>> e.insert(2, 20)
>>> print(e)
[1, 2, 20, 3, 4, 5, 6, 7, 8]




# 5. pop: 뽑아내기
>>> e1 = e.pop(2)
>>> print(e1)
20
>>> print(e)
[1, 2, 3, 4, 5, 6, 7, 8]




# 6. remove: 가장 왼쪽에 있는 해당하는 값 제거
>>> f = [4,5,6] * 3
>>> f.remove(5)
>>> print(f)
[4, 6, 4, 5, 6, 4, 5, 6]




# 7. len: list 내 원소의 갯수 세기
>>> print(len(f))
8




# 8. count: list 내 특정 원소의 갯수 세기
>>> print(f.count(5))
2
  • list.append(value)는 list에 다른 값(list도 하나의 원소로써 추가 가능!)을 추가하는 함수다.
  • list.extend(list)는 list + list랑 같다
  • list.sort(reverse = False)는 자주 쓰이는 함수인데, reverse는 역순으로 정렬하느냐를 의미한다. 기본적으로 reverse = False로 지정돼있으며, 이는 오름차순(작은 순)이다.
  • 그냥 list의 순서를 거꾸로 하고 싶다면 list.reverse()를 쓰자
  • list.insert(위치, 값) 함수를 이용하면 내가 원하는 위치에 원하는 값을 넣을 수 있다.
  • list.pop(위치) 함수는 해당 위치에 있는 value를 아예 뽑아버린다!
  • list.remove(값) 함수는 가장 왼쪽에 있는 해당 값만 제거하므로 모두 제거하고 싶다면 for문이나 while문으로 반복실행하자
  • len(list) 함수는 list 내 원소의 수를 가지고 온다.
  • len(문자) 함수는 문자의 길이를 반환한다.
  • list.count(value)는 list 내 value의 개수를 가져오는 유용한 함수다.

 

 지금까지 list type에 대해 빠르게 훑어봤는데, 파이썬의 가장 기초가 되는 Data를 담는 type이다 보니 꽤 자주 쓰이는 type이다.

 위의 list 관련 함수들을 보다 보면, 분석가가 바라는 기능에 비해 조금씩 나사가 빠져있어, 원하는 결과를 내기 위해선 for문이나 while문을 섞어줘야 하는 경우가 꽤 있다.

 이 것이 본문에서 "list는 Data를 담는 그릇이지, 연산을 위한 Type은 아니다"라 한 이유이기도 한데, 이후에 학습할 array, DataFrame 등은 연산이나 데이터 정리에 훨씬 특화돼있기 때문에 연산이나 Indexing 등에서 훨씬 쉽고 우월한 성능을 낸다.

 이후 포스트에서 다룰 array와 DataFrame 등은 그 기능이 굉장히 다양하고, 이를 설명하려면 어지간한 전공서적만큼 설명이 필요하므로, 나머지 Type 포스팅에선 살짝 찍어만 먹어보고, 다른 카테고리인 Python-Pandas와 Python-Numpy에서 자세히 다뤄보자.

728x90
반응형
728x90
반응형

 

 Python, R과 같은 수많은 언어들에서 제일 중요한 건, 해당 언어에서 어떠한 자료형을 가지고 있느냐다.

 대부분의 오류는 사용하려는 api에 데이터를 담고 있는 형태(Type), 담겨 있는 데이터의 형태(Data type), 데이터의 구조(Shape)가 적합하지 않아 발생하며, 어지간해선 이를 해결하면 해결된다.

 성능향상 문제에서도 Type, Data type, Shape은 지대한 영향을 미치며, 이를 어떻게 가지고 노느냐에 따라서 같은 알고리즘도 전혀 다른 방식으로 접근할 수 있다.

 그러므로, Python 첫 번째 page에선 이에 대해 간략하게 살펴보도록 하자

  • Python을 사용하면서 느낀 중요한 부분에 대해 짚고 넘어갈 것이므로, 보다 상세한 설명을 원한다면 구글링 하길 바란다(분석가에게 제일 중요한 능력은 검색 능력이지 않는가!).
  • 일부 자료형은 설명하다보면 아주 깊게 들어가게 되므로, 자세한 설명은 뒤로 미루도록 하겠다.
  • Python을 사용하며, 데이터 분석에 유용하다고 느낀 Type을 위주로 설명한다.

 

 

 

Type

  1. scalar
  2. list
  3. array
  4. tensor
  5. dictionary
  6. DataFrame

 위 6가지 외에도 여러 Type이 존재하지만, 데이터 분석을 하면서, 숨 쉬듯 사용했던 Type 위주로 추려냈다.

 위 Type중 numpy의 array나 pandas의 DataFrame, tensorflow의 tensor 같이 해당 Type의 기능이 꽤 많아 제대로 이해하고 사용하려면 두꺼운 책 여러 권을 읽어야 하지만, 이는 뒤로 미뤄두고 오늘은 가볍게 설명해보자.

 

 

 

Scalar

 scalar를 극단적으로 단순하게 말해보면, 그냥 숫자나 문자가 딱 한 개 나오는 경우를 가리킨다. 여기서 문자라는 것은 눈에 보이기엔 문자처럼 보이지만 실제로는 숫자인데, 대체 이게 뭔소리냐 싶겠지만, 설명을 들어보면  꽤 쉽게 이해될 것이다.

 Python의 scalar에는 크게 4개의 자료형이 있다.

  1. int
  2. float
  3. None
  4. Boolean

 여기서 int는 정수, float는 소수, None은 값이 없음, Boolean은 True or False이다. 자, 이제 하나하나 설명해보도록 하자.

 

int(정수)

# int
>>> 1
1
  • 자, 숫자 1을 셀 안에 넣고 ctrl + enter를 입력하니 1이 반환되었다.
  • >>>는 입력한 코드
  • 아래에 >>> 없이 숫자만 나온 경우는 출력된 결과이다.
>>> a = 1
>>> print(a)
1
>>> print(type(a))
<class 'int'>
  • a에 1을 할당하고 print() 해보자
  • print()는 말 그대로 print(출력)하는 함수이다.
  • 참고로 주피터 노트북의 경우 셀의 맨 마지막 줄에 출력하고자 하는 함수를 입력하면, 해당 함수의 내용이 바로 출력 된다.
  • type()은 변수의 자료형을 확인하는 방법이다.
# int 함수를 이용하면 소수를 정수로 바꿀 수 있다.
# 소수 > 정수
>>> int(2.35)
2
# Boolean > 정수
>>> int(True)
1
# 문자 > 정수
>>> int("123")
123
  • int() 함수는 int가 될 수 있는 자료형을 int로 바꿔주는 역할을 한다.
  • ""나 ''는 문자를 의미하는데 담겨 있는 내용이 숫자인 경우엔 숫자로 바꿀 수 있다.
  • True의 경우 분명 문자인데 정수 1로 바뀌는 것이 이상하게 보일 수 있는데, 이는 꽤 재미난 성질이므로, 뒤에서 다시 언급하도록 하겠다.
  • 그러나, 정수로 형태를 변환시킬 수 없는 경우 ValueError가 뜨게 된다.
>>> int("scalar")
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-17-45517d963ca8> in <module>
----> 1 int("scalar")

ValueError: invalid literal for int() with base 10: 'scalar'



>>> int("1.25")
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-18-fb02bea94e38> in <module>
----> 1 int("1.25")

ValueError: invalid literal for int() with base 10: '1.25'



>>> int("True")
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-19-c0bc75205372> in <module>
----> 1 int("True")

ValueError: invalid literal for int() with base 10: 'True'
  • "" 나 '' 안에 문자 혹은 소수가 들어가는 경우 ValueError가 발생한다.
  • 앞에서 1로 바뀌었던 True 역시 "True"로 들어가는 경우 ValueError가 발생한다.

 

 

float(소수)

# float
>>> print(1.25)
1.25

>>> b = 2.75
>>> print(b)
2.75

>>> print(type(b))
<class 'float'>

>>> print(float(10))
10.0
  • 말 그대로 소수이다.
  • int() 함수와 마찬가지로 float()를 하면 정수를 소수로 치환할 수 있다.
  • int()함수와 마찬가지로 float()이 될 수 없는 대상을 치환하려고 하는 경우 ValueError가 뜬다.
# 반올림, 올림, 버림을 해보자
>>> import numpy as np
>>> import math

>>> c = 15.62719

# 반올림
>>>print(np.round(c, 2))
>>>print(round(c, 3))
15.63
15.627

# 올림
>>> print(np.ceil(c))
>>> print(math.ceil(c))
16.0
16

# 버림
>>> print(np.trunc(c))
>>> print(math.trunc(c))
15.0
15
  • 반올림은 python의 기본 함수인 round가 있다.
  • 반올림, 올림, 내림은 주로 numpy, math 모듈의 함수를 이용한다.
  • numpy으로 충분하므로, 굳이 math 모듈을 가지고 올 필요는 없다.
  • import는 특정 모듈을 가지고 온다는 것을 의미하며, as는 그 모듈을 as 뒤에 있는 문자로 간단하게 표현하겠다는 것을 의미한다.
  • np.round(x, N): float x를 소수점 N 자리에서 반올림한다.
  • np.ceil(x): float x를 올림 한다(math.ceil()과 달리 결과는 float으로 반환).
  • np.trunc(x): float x를 내림한다(math.trunc()과 달리 결과는 float으로 반환).

 

 

None(값없음)

>>> None

>>> d = None
>>> print(d)
None
  • 말 그대로 값이 없다는 것을 의미한다.
  • 특정 변수를 미리 생성해놓고 추후 Data를 넣는 경우나, 결측 값 같이 값이 있어야 하는데 존재하지 않음을 나타낼 때 사용된다.

 

 

Boolean

>>> e = 10
>>> print(e == 10)
True

>>> print(e == 12)
False

>>> print(e != 10)
False

>>> if e == 10:
>>>     print("Go")
>>> else:
>>>     print("stop")

Go
  • Boolean 또는 Bool이라 불리는 scalar는 True와 False 두 개의 값으로 이루어져 있다.
  • if 문과 같이 True, False에 따라 다른 결과를 반환하는 경우나, 특정 값을 추출할 때 자주 사용된다.
>>> bool(1)
True

>>> bool(10.0)
True

>>> bool("abc")
True

>>> bool(0)
False

>>> bool(0.0)
False

>>> bool("")
False

>>> print(int(True))
1

>>>> print(int(False))
0
  • Boolean의 True는 1에 False는 0에 대응한다(이 성질을 잘 이용하면 코드를 아주 단순하게 만들 수 있다).
  • bool() 함수를 이용하면 0, 0.0, ""은 False에 나머지 경우는 True를 반환한다.

 

 

그 외

 위 내용을 보면 그렇다면 알파벳 같은 문자의 Type은 무엇일까? 하는 궁금증이 들 것이다.

>>> type("abc")
str

>>> type("123")
str
  • str이라 반환되며, 이는 string의 줄임말로 문자열을 의미한다. 문자와 숫자 Data는 그 접근 방향이 꽤나 다르므로, "Data가 딱 하나 있는 것들을 scalar라고 뭉뚱그려 말하지 않는구나!"라고 단순히 생각해보자.
  • scalar에 대한 심층적인 설명으로 들어가면, 내용이 상당히 길어지므로, 단순하게 숫자로 표현할 수 있거나 값이 존재하지 않는 경우를 scalar라고 생각하면 된다(상세한 내용은 위키피디아를 참조하자).
  • scalar는 뒤에서 배울 벡터에 원소가 하나만 있는 상태라고 생각하면 된다.

 

 

 이번 포스팅에서는 데이터의 Type과 scalar에 대해 알아보았다. 간략히 설명하려 했으나, 쓰다 보니 내용이 꽤 길어져 이 사람이 뭘 이야기하고 싶은 건가 싶을 수도 있으니, 다음 포스트부터는 좀 더 단순하게 적어보도록 하겠다.

 
728x90
반응형
728x90
반응형

 요즘 일 때문에 많이 바빴더니 몇 일째 포스트 하지 못했다. 퇴근 후에 취미 생활을 즐기기 위해선, 운동을 하긴 해야겠다.

 이전 포스트에선 csv 파일을 가지고 오는 방법과 인코딩 문제에 대해 다뤄보았다. R을 사용하기 까다롭게 만드는 문제 중 하나가 인코딩 문제이고, 반면에 파이썬은 UTF-8을 기반으로 작성했기 때문에, 위 문제에서 보다 자유로운 편이다.

 R을 사용하다보면, 분석 환경 세팅 난이도는 그리 높지 않은 편인데(오프라인 환경이나 보안이 강한 환경에서도 큰 문제없이 설치가 가능하다), 데이터를 Import(가져올 때), Export(내보낼 때) 문제가 종종 발생한다. 이 문제는 대부분 인코딩 문제 거나, 데이터 자체에 R로 Import 될 때, 문제를 일으킬 수 있는 인자가 있기 때문이다.
(예를 들어 \n과 같은 문자는 줄을 바꾸는 문자인데, 이런 특수한 역할을 하는 문자가 섞인 데이터에선 데이터의 형태가 변형되어 버릴 수 있다. 이 문제는 R에만 국한된 것은 아니지만, 이 기회에 살짝 언급하고 가겠다.)

  이번 포스트에선 R로 엑셀 파일을 가지고 오고 내보내는 방법에 대해 학습해보도록 하겠다.

 

 

엑셀 파일을 R에서 불러와보자.

  • R에서 엑셀 파일을 불러오기 위해선 readxl 패키지를 사용해야한다.
  • read_excel()
    :  엑셀 파일을 읽어오는 함수
  • 주요 parameter
    : read_excel("파일위치/파일이름.확장자", range = "A1:B3": 엑셀 시트 내에서 내가 불러오고자 하는 영역, col_names = TRUE: 첫 행이 컬럼의 이름인지, sheet = 1, 불러올 시트)
    • read_excel의 특징은 자기가 원하는 sheet를 불러올 수 있다는 것이다.
    • read_excel은 Excel의 특징인 시트 내 좌표를 이용해서 내가 원하는 구간만 데이터를 가져올 수 있다. 
library("readxl")
read_excel(file.choose(), col_names = TRUE, range = "A1:D6", sheet = 1)
  • file 이름(워크 스페이스가 기본 경로이며, 다른 경로를 쓰고 사용하고 싶은 경우엔 해당 경로를 추가하면 된다.)
    이번 포스트에선 file.choose()를 넣어보았다.

  • file.choose()를 매개변수로 넣게 되면, 우리에게 익숙한 파일을 불러오는 창을 볼 수 있다.
  • file.choose()는 R에 익숙할수록 딱히 필요 없는 기능이지만, 파일의 경로에 대해 익숙하지 않은 초보에겐 추천하는 기능이다.
    (일단 파일을 불러와야 뭘 해볼 것 아닌가!)
## # A tibble: 5 x 4
##   name  class  math English
##   <chr> <dbl> <dbl>   <dbl>
## 1 사나      1    80      70
## 2 다연      1    85      65
## 3 쯔위      1    70      90
## 4 모모      1    65      60
## 5 예림      2    80      70

 

 

겸사겸사 워크 스페이스 아래에서 경로를 가지고 장난을 쳐보자.

  • 워크스페이스 경로는 D 드라이브의 RWorkSpace 파일이다.
  • 워크스페이스 경로에 손대지 말고, 해당 파일 안에 있는 Data 파일의 exam_exl.xlsx 파일을 불러와보자.

 

library("readxl")
getwd()
## [1] "D:/RWorkSpace"
read_excel("./Data/exam_exl.xlsx", col_names = TRUE, sheet = 1)
  • ./Data 에서 .은 워크스페이스의 경로(정확히는 현 위치)를 의미한다.
## # A tibble: 15 x 6
##    name  class  math English Korean science
##    <chr> <dbl> <dbl>   <dbl>  <dbl>   <dbl>
##  1 사나      1    80      70     65      90
##  2 다연      1    85      65     75      70
##  3 쯔위      1    70      90     65      60
##  4 모모      1    65      60     55      70
##  5 예림      2    80      70     65      55
##  6 현희      2    75      85     60      80
##  7 정은      2    90      60     70      85
##  8 혜원      2    65      80     75      80
##  9 준식      2    75      70     90      65
## 10 재성      3    70      90     65      85
## 11 민철      3    60      85     75      90
## 12 현택      3    75      65     80      70
## 13 현승      3    90      70     65      85
## 14 윤기      3    80      65     90      70
## 15 기훈      3    95      55     85      90
  • 위 방식을 이용하면, 파일 관리를 보다 수월하게 할 수 있다.

 

 

 

 

엑셀 파일로 저장해보자.

  • 엑셀로 파일을 불러왔으니, 이번엔 엑셀로 파일을 내보 내보자.
  • 위에서 사용한 패키지인 readxl은 말 그대로 엑셀을 읽어오는 패키지이기 때문에, 엑셀로 파일을 내보내려면, writexl이라는 패키지를 설치해야 한다.
  • 그러나 가능한 데이터는 엑셀 파일로 저장하지는 말도록 하자(데이터가 엑셀로 와서 어쩔 수 없는 상태에 엑셀을 R로 읽는 것이지, 데이터 관리를 엑셀로 하는 것은 좋지 않다. 이에 대한 내용은 후술 하도록 하겠다.)
  • write_xlsx()
    : 데이터를 엑셀 형태로 저장한다.
  • 주요 parameter
    : write_xlsx(data, path = "경로/파일이름.xlsx")
library("writexl")
data = data.frame(ID = c("A01", "A02", "A03", "A04", "A05"),
                  math = c(60, 80, 70, 90, 65))

write_xlsx(data, path = "./Data/test.xlsx")
  • 위 과정을 거치면 아래와 같이 엑셀 파일이 생성되는 것을 확인할 수 있다.

 

 

 

 

엑셀 파일로 데이터 관리를 하는 것은 좋을까?

 이번 포스트에선 엑셀로 파일을 올리고 내리는 법을 알아보았다. 그런데 과연 엑셀로 파일을 관리할 일이 있을까? 엑셀은 데이터를 관리하는 데 있어서 상당히 많이 사용되지만, 동시에 단점도 많은 툴이기 때문에, 개인적으로 비추한다. 엑셀을 사용할 바에 csv 파일로 파일을 읽고 쓰는 것을 추천한다.

 엑셀의 단점은 다음과 같다.

  • 엑셀에 단위가 매우 큰 숫자를 넣는 경우 E(지수 형태)로 변환이 되어, 실제 값의 정보가 손실된다.

  • 많은 양의 데이터(행이 65,536개 이상)를 관리할 수 없다.

 물론, 위 문제가 R에서 패키지를 이용해서 파일을 불러오고 내보내는 상황에서도 적용되는지 확신은 못하지만, 당신이 R에 익숙해지면 익숙해질수록, 엑셀은 느려 터지고, 불편한 툴이라는 생각이 들어서 자동으로 멀리하게 될 것이다. R은 코드를 통해서 작동하므로, 엑셀보다는 진입장벽이 있긴 하지만, R에 익숙해지고 나면, 속도, 기능 등 모든 면에서 R이 압도적이므로, 엑셀로 파일을 관리하는 일은 사라지게 될 것이다.
(필자는 엑셀로 수정할 바에 차라리 R로 코딩을 하는 것을 선호할 정도로 R은 쉽고 빠르다!)

 

 

 이번 포스트에선 엑셀로 R에 파일을 올리고 내리는 방법에 대해 학습해보았다. 다음 포스트에선 텍스트 파일을 R로 다루는 방법에 대해 학습해보겠다.

728x90
반응형
728x90
반응형

 요 근래 정보 보안 관련하여, 새로운 프로젝트에 참가하게 되었다. 기계 학습을 활용해서 해킹 시도를 막는 알고리즘을 손보는 것인데, 데이터 분석은 꽤 다뤄봤기에 부담스러울 것 없지만, 보안에 대한 지식은 전무한 상태라 제대로 된 접근이 힘들 것이다. 그런고로 이번 포스트에선 정보 보안이 어떠한 형태로 돌아가는지 기초적인 수준의 개념을 알아보고자 한다.

※ 본 포스트의 목적은 정보 관제에 대한 기초 상식을 파악이 목적으로, 심도 깊은 수준까지의 탐색은 하지 않도록 하겠다.

 이번 포스트에서는 와우북스 보안 시리즈 중 하나인 "빅데이터 분석으로 살펴본 IDS와 보안 관제의 완성 - 패턴 매치 기법을 이용한 정보보안 감시체계의 완성 - 강명훈 저"라는 책을 바탕으로 작성하였다.

 

정보 보안(Information Security 또는 Inforsec)

먼저 정보 보안에 대해서 위키피디아가 어떻게 설명하고 있는지를 봐보자.

https://ko.wikipedia.org/wiki/%EC%A0%95%EB%B3%B4_%EB%B3%B4%EC%95%88

 

정보 보안 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 정보 보안(情報保安, 영어: information security 또는 inforsec, 정보 보호)는 정보를 여러가지 위협으로부터 보호하는 것을 뜻한다. 정보의 수집, 가공, 저장, 검색, 송�

ko.wikipedia.org

 

  • 위키피디아의 내용을 읽어보면, 정보 보안이란, "정보의 유통 과정에서 훼손, 변조, 유출되는 것을 막는 것을 의미한다."라고 볼 수 있다.
  • 이를 보다 직설적으로 표현해보면, 소중한 "정보"를 누군가가 바꿔버리거나 훔쳐가려는 시도를 막는 행위라고 할 수 있겠다.
  • 정보 보안에는 3가지 주요 목표가 있다.
    1. 기밀성(Confidentiality)
      : 허락되지 않은 사용자가 정보의 내용을 알 수 없게 해야 한다.
    2. 무결성(Integrity)
      : 허락되지 않은 사용자는 정보를 마음대로 수정할 수 없다.
    3. 가용성(Availability)
      : 허락된 사용자가 정보에 접근할 때, 방해받아선 안된다.
      DDoS 공격(서비스 거부 공격: 특정 사이트에 엄청난 트래픽을 발생시켜서 정상적인 사용자가 사용을 못하도록 만드는 행위)이 좋은 예시임.

 자, 간단하게 정보 보안이 뭔지는 알았으니, 이번에는 이 정보보안을 위해서 이루어지는 보안관제(Manged Security Service)에 대해 알아보자.

 

보안관제(Managed Security Service)란?

: 국가 전산망 보안관제 지침에선 보안관제를 다음과 같이 정의하고 있다.
"정보통신망을 대상으로 수행되는 사이버 공격정보를 탐지, 분석, 대응하는 일련의 활동"

  • 보안관제란 말 그대로, 정보 보안을 위해, 공격이 들어오는 것을 탐지하고, 공격에 대해 분석하고, 이에 대응하는 모든 활동을 가리킨다.
  • 즉, 해킹을 막기 위한 일련의 활동이다.

이번에는 이 보안관제에 사용되고 있는 기법들에 대해서 알아보자.

 

 

 

 

 

 

보안솔루션

방화벽(Fire Wall)

  • 네트워크 구성 시 당연히 설치되어야 하는, 필수이자 기본 솔루션이다.
  • 방화벽의 룰은 아주 단순하다. 사전에 허용하기로 정의한 IP와 Port가 아니면 차단한다.
  • 방화벽은 패킷 또는 세션 단위로 모든 트래픽의 허용 또는 차단 로그를 남긴다.
  • 사고가 난 경우, 이를 분석할 때, 큰 도움이 되지 않는다.
    1. 방화벽은 최소 예방 보안으로, 역할이 끝난다.
    2. 방화벽에 대한 로그 데이터는 패킷 또는 세션 단위로 모든 트래픽에 대하여 허용, 차단 로그가 남으므로, 그 양이 어마어마하다.
    3. 방화벽을 통과해서 보안 사고가 발생한 경우, 얻을 수 있는 정보는 접근 시간대 정도이다.
    4. 그러므로, 공격 패턴이나 트래픽 발생 양상과 같은, 방화벽보다 공격임이 뚜렷한 로그에 대해서만 사고 분석을 실시하는 것이 옳다.

 

 

IDS/IPS

  • IDS/IPS는 TCP/IP 최상위 계층인 응용계층까지 검사 가능한 최초의 보안솔루션으로, 현존하는 보안솔루션 중 네트워크를 통해 침입하는 보안 위협을 그나마 가장 효과적으로 감시할 수 있는 룰 기반 보안솔루션이다.
    • 참고 서적 저자의 견해
      : 네트워크를 통해 전달되는 데이터는 최종적으로 인간이 식별 가능한 문자나 숫자 등의 '기호'로 표현되는 정보를 송수신하면서 상호 간 서로 의도했던 의미를 수립한다.

       데이터는 인간의 의사소통과 마찬가지로 표현에 사용된 기호의 성격에 따라 최종 전달되는 정보의 의미가 달라지며, 최종 전달되는 정보의 보안 위협 여부 판단을 위해, 문자열 패턴(Signature)을 이용하여, 패킷 데이터 영역에 사용된 기호를 검사하는 방식은 매우 효과적이고, 그 이상 향상된 방식은 개발되지 않았다.
      (물론 이 방식은 커다란 허점을 가지고 있음)
  • IDS와 IPS의 핵심 기능은 사전에 정의된 룰과 트래픽의 비교를 통해 보안 위협을 찾아내는 것이다.
  • 즉, 둘 다 탐지가 핵심 기능이다(그러므로, 둘 중 무엇이 더 우월하다고 판단해서는 안된다).
  • IDS와 IPS는 같은 룰 운영치계를 가지고 있다.
  • IP 주소, Port 번호뿐만 아니라, TCP/IP 응용계층의 데이터까지 검사 가능(패턴 매치 기법 or DPI)
    • 간단하게 말하자면, 방화벽은 편지지의 봉투 주소만 확인하는 것이고, IDS/IPS는 편지의 내용까지 검사한다
    • IDS/IPS는 문자열 패턴(Signature)을 검사할 수 있는 '룰 옵션' 구조를 이용해 패킷의 데이터(Payload) 영역까지 검사한다.
  • 네트워크 보안을 전체적으로 아우르는 주력 솔루션이다.
  • IDS/IPS는 '패턴 매치 기법'을 이용하는 '룰 기반 보안솔루션'이므로, 보안관제 업무의 핵심이며, 탐지와 방어라는 측면에서 서로 상호 보완하는 업무 프로세스를 가져야 한다.
    • IPS가 방어를 위한 탐지를 선행하며, 뒤에 IDS가 붙는다.
    • IPS만 단독으로 사용하는 경우, 부정확한 룰의 방어 기능에 의한 서비스 실패 등 많은 제약이 발생하며, 룰의 정확성을 향상하기 위해선 많은 데이터를 이용한 정확한 분석이 필요하나, 대량의 데이터를 정확히 분석 가능한 IPS는 사실상 없다.

IDS

  • IDS는 원본 트래픽을 손실이나 변조 없이 복사해주는 방비인 TAP이 기계적으로 복사해주는 트래픽을 검사하는 구조다.
  • 즉, 본래의 트래픽 유통에 전혀 관여하지 않는다.
  • Out of Path(또는 Mirror) 방식이라고도 한다.
  • 공격자에 대한 소극적인 방어만 가능(공격자 호스트로 리셋 패킷을 보냄, 방화벽과 연동해서 공격자 차단)

IPS

  • 기존 트래픽 유통에 직접 관여한다.
  • 모든 트래픽은 IPS를 거쳐야만 유통 가능하다.
  • InLine 방식이라고 한다.
  • 장애에 대비한 트래픽 우회(Bypass)가 가능한 TAP를 내장시키는 게 일반적이다.
  • 공격자에 대한 적극적인 방어 가능(공격자의 패킷을 Drop 함)
  • 트래픽 유통에 직접 관여하므로, 빠른 처리 속도가 필요하다(IPS의 트래픽 처리 성능에 문제가 있어서 트래픽 유통에 문제가 생긴다면, 당연히 사용자들이 싫어한다.).
  • 적극적인 방어가 가능한 IDS를 IPS라고 할 수 있다.

IDS/IPS 로그 구조

  • 탐지 시간부터 피해자 포트까지를 기본정보
  • 공격 패킷 데이터를 상세정보(Rawdata)라고 한다.
  • 상세정보는 바로 보여주진 않고, 별도의 조작을 통해서만 상세정보를 확인할 수 있다.

 

 

 

안티(Anti) DDos

  • DDoS(분산 서비스 거부 공격)
    : 시스템 및 네트워크 자원(CPU, 메모리, 디스크, 네트워크 대역폭, 세션 등)을 비정상적으로 소진시켜, 정상적인 자원 사용을 방해하는 DoS의 진화된 공격형태이며, 공격/피해자 분포가 일대일(1:1)인 DoS에 비해, 다대일(N:1)이라는 특징을 가지고 있다.
    • 아주 간단하게 말하면, 공격자가 상대방의 컴퓨터 자원을 크게 소모시키는 행위를 하여, 정상적인 행동을 못하게 만드는 것이다.
  • 평상시, 세션 발생 추이를 기준으로 한 비교 분석을 하여 DDoS 대비
  • 세분화될수록 분류와 분석은 복잡해지고 대응하기 어려워지므로, TCP 레벨의 DDoS 공격으로 통합해 접근
  • DDoS 대응을 위한 업무 프로세스
    1. DDoS 보호 대상 시스템 및 네트워크 선정
    2. 시스템 및 네트워크 자원(CPU, 메모리, 세션, BPS, PPS 등)의 사용 임계치 산정을 통한 DDoS 대응 장비 설정 최적화
    3. DDoS 공격 전담 관제를 통한 자원 사용 이상 징후 파악

 

 

 

웹 방화벽

  • 웹(웹서버, 웹 사용자 모두)은 공격자들의 최대 공격 목표이나, 방화벽, IDS/IPS, 안티 DDoS 솔루션들은 웹을 향한, 또는 웹을 통한 공격에 효과적으로 대응하지 못한다.
    • 방화벽, IDS/IPS, 안티 DDpS 모두 웹을 대상으로 하였을 때, 눈에 띌 정도로 큰 한계점이 존재함
  • 웹 방화벽의 접근제어 방식은 크게 두 갈레로 Positive 방식, Negative 방식으로 나눠진다.
분류 Positive Negative
개념 사전에 안전하다고 정의된 패턴만 허용 사전에 위험하다고 정의된 패턴만 거부(탐지/차단)
장점 알려진 정상 패턴만을 허용함으로써 알려지지 않은 공격까지 자동 차단 공격 패턴이 정확하면 서비스 구조 변경 등과 관계없이 적용 가능
단점 서비스 구조 등의 변경 발생 시 즉각적인 정책 반영 필요 알려지지 않은 공격 패턴에 관한 지속적인 연구 필요
적용 방화벽, 웹 방화벽 등
> 사전 정의된 패턴과 일치하지 않는 모든 트래픽 차단
IDS, IPS 등
> 사전 정의된 패턴과 일치하지 않는 모든 트래픽 허용
  • 웹 방화벽의 효과를 극대화시키기 위해선, 정상적인 웹사이트 이용 패턴을 사전에 정의해야 하며, 이 작업은 웹서버를 직접 구축하고 웹사이트를 직접 설계한 개발자 수준의 운영자가 있어야만 가능하다 할 정도로 고도의 숙련된 기술이 필요하다.
  • 이런 운영상 어려움으로 인해, 이론적으론 효과적이나 현실적으로는 그리 큰 효과를 보지 못한다.
  • 현재는 Positive, Negative 접근제어 방식을 혼용한 형태가 대세로, 기본적인 Positive 정책을 적용하고, 그 정책을 통과한 트래픽에 대해 IDS나 IPS처럼 공격 패턴을 탐지 또는 차단하는 Negative 정책을 적용하는 것이다.
  • 최근엔 평판(Reputation, 입소문 마케팅 기법을 적용해 다른 웹 방화벽의 공격 평가를 자신의 평가에 반영) 기법을 도입하려는 움직임도 있으나, 걸음마 수준이며, 이 또한 정확하게 평가된(정확하게 탐지 또는 차단한) 정보들이 모여야 한다.
  • Positive 또는 Negative를 막론하고 정확한 룰 운영이 먼저이다.

 

 

 

ESM(Enterprise Security Management)

  • ESM은 다른 보안솔루션에서 수집한 정보에 대한 관리와 분석의 '통합'을 기치로 하여 탄생하였다.
  • ESM의 핵심 목표는 다음과 같다.
    1. 흩어져 있는 보안솔루션 로그, 일반 시스템 로그를 수집하고, 체계적으로 이를 분류하여 통합 관리 및 분석을 시행함
    2. 체계적인 통합 분석을 통해 솔루션별 보안정책의 일관성 보장
  • ESM을 통해 통합관리를 하게 되면, 통합된 로그 간 연관성을 추적해서 공격 여부 판별의 신속성과 정확성을 높여주는 '연관분석'을 수행할 수 있다.
    1. 공격 시도가 발생 했을 때, 문제가 없는 것은 '허용 로그', 공격 실패는 '차단 로그', 공격 성공 가능성이 있는 '탐지 로그'로 로그는 나뉘는 데, 이 중 가장 신속하게 해결해야하는 문제는 '탐지 로그'이다.
    2. ESM의 연관분석 기능을 활용하면, 로그 성격과 임계치 설정을 통해 보안관제 업무를 공격 성공 가능성이 높은 탐지 로그 분석에 집중시킬 수 있다.

 

 

 

기타 보안 솔루션

  • 앞서 소개한 보안솔루션들은 네트워크 길목을 지키는 상시적 감시가 필요한 관문으로써 역할을 한다면, 해당 항목에서 소개할 솔루션들은 실시간 모니터링이 어렵거나 불필요, 또는 감시보다 예방 보안의 성격이 강하다.

 

1. 안티 스팸

  • 최소 예방을 해주는 안티 스팸은, 악의적인 이메일 유입을 최소화해주는 기능이다.
  • 예방 솔루션으로써 유용하지만, 최소 예방 보안이므로, 보안관제 업무에서 적극적으로 활용되는 수준은 아니다.

2. 유해 사이트 차단

  • 유해 사이트를 차단해주는 최소 예방 솔루션으로, 웹 트래픽에서 URL 또는 URI를 검사 후, 등록된 유해 사이트 리스트와 패턴이 일치하는 트래픽을 차단하는 것이다.
  • IDS/IPS 등의 분석 결과를 반영하여, 업무 공조와 함께 유해 사이트 데이터베이스를 업데이트하는 경우도 있다.
  • 비교적 단순하여, 방화벽, 웹 방화벽 등에서 기능을 제공하는 경우도 많다.
  • 안티 스팸처럼 최소 예방 보안이므로, 보안관제 업무에 적극 활용되지 않는다.

3. 서버보안

  • 서버보안은, 보안성 강화를 최우선 목표로 설계된 보안 운영체제(Secure OS)로, 군사 분야에 사용하기 위한 목적으로 개발된 아주 강력한 성능을 가진 보안 설루션이다.
  • 서버보안 솔루션은 강력한 접근통제를 통해 공격 행위 자체를 무력화시키며, 공격 시대 행위나 그 행위의 결과를 감시/차단하는데 주력하는 대부분의 보안솔루션과 결을 달리하는 솔루션이다.
  • 서버보안 솔루션은 시스템 최고 관리자인 root 사용자는 물론, 모든 프로세스를 필요한 만큼의 범위에서만 동작하도록 제한할 수 있으며, 이를 통해 보안에 어긋나는 부적절한 사용 시도를 사전에 차단할 수 있다.
  • 효율성이 낮고, 어렵다는 단점 때문에 정보보안 분야에서 활용 비중이 그리 크지 않다.

4. 안티바이러스

  • 안티바이러스는 네트워크에 설치되는 관문 보안 형태도 있긴 하지만, 대부분 엔드포인트(Endpoint), 즉 PC 보안 성격이 강하므로, 보안관제 업무에서 차지하는 비중이 매우 미미하다.
  • 최근에는 악성코드, 좀비 PC 방지 등의 목적으로 특화되면서 네트워크 보안솔루션으로 성장이 진행 중이다.

5. 정보유출 방지

  • 크게 DRM, DLP로 두 가지 솔루션으로 분류된다.
    1. DRM(Digital Rights Management)
      : 허가된 사용자만이 정보에 접근할 수 있도록, 정보 자체에 적용되는 일종의 암호화 기술
    2. DLP(Data Loss Prevention)
      : 네트워크 기반의 응용 프로그램(웹, 메일, 데이터베이스 등) 송수신 정보 통제(감시 및 차단), USB/CD-Writer 등의 미디어, 무선/블루투스 등 통신매체 통제
  • 웹, 메일, 메신저, P2P 등은 데이터의 양이 어마어마하므로 실시간 모니터링이 사실상 불가능에 가깝다.
  • 주로 사고 발생에 대비한 증거 확보 차원의 감사 목적으로 활용된다.

6. TMS(Threat Management System)

  • 위협 관리 시스템(TMS)은 IDS/IPS 등에서 수집된 탐지/차단 로그의 발생량과 룰(로그) 별로 산정된 위험도의 조합에 의해 위협 수준(정상/관심/주의/경계/심각)을 결정해주는 솔루션이다.
  • 룰 별 위험도 산정 기준은 다음과 같다.
위험도 산정 기준
보안 취약점 + 공격 코드 + 피해 사례가 발견된 경우
보안 취약점 + 공격 코드가 발견된 경우
보안 취약점이 발견된 경우
  • TMS는 IDS/IPS의 탐지/차단 로그를 기준으로 현재 발생하고 있는 위협 수준을 측정해주는 시스템이다.
  • 만약 IDS/IPS의 운영이 정상화되지 않는 경우 TMS는 무용지물로 전락할 가능성이 있다(ESM도 그렇다).

7. RMS(Risk Management System)

  • 위험관리 시스템(RMS)은 보호대상 정보자산의 구성 현황을 파악하고 자산별 운영체제, 애플리케이션, 가동 서비스 및 이와 관련된 취약점 현황을 파악 및 분석한 후, 이를 데이터베이스 화하여 위험 발생 요인의 체계적 관리를 목적으로 하는 시스템이다.
  • RMS는 취약점의 이력 추적 및 관리 용도에 적합하며, 제거가 힘든 취약점에 대한 보안관제 측면의 접근이 이루어질 수 있도록 하는 업무적 협조가 필요하다.

 

 

요약

  • 방화벽: 보안솔루션이라기보다 기본적인 보안 인프라에 가깝다.
  • IDS/IPS: 전체 네트워크 범위를 감당한다.
  • 웹 방화벽: 웹 보안에 특화돼 있다.
  • 안티 DDoS: DDoS 보안에 특화돼 있다.
  • ESM: 위 보안솔루션들의 로그를 통합 관리하는 핵심 보안관제 솔루션이다.
  • 이들 솔루션은 모두 정도의 차이는 있으나 '패턴 매치' 기반으로 동작하는 기능이 존재한다.
  • 보안솔루션 분야에서 '패턴 매치 기법'은 매우 중요한 비중을 차지하고 있다.

 

 

 지금까지 정보보안에 대한 기본 개념과 보안관제, 보안솔루션에 대해 간략하게 알아보았다. 만약, 보다 자세한 내용을 알고 싶다면, 본 포스트에서 참고한 서적인 "빅데이터 분석으로 살펴본 IDS와 보안 관제의 완성 - 패턴 매치 기법을 이용한 정보보안 감시체계의 완성 - 강명훈 저"를 읽어보길 바란다.

 다음 포스트에선 IDS에 대해 보다 자세히 다뤄볼 예정이다.

728x90
반응형
728x90
반응형

 데이터 분석을 위해선 먼저 분석을 할 수 있는 환경을 만들어야 하고, 그다음엔 분석을 할 데이터를 가지고 와야 한다. 이번 포스트에선 R에서 데이터를 가지고 오는 방법에 대해 학습해보도록 하겠다.

 

데이터 가져오기(Data Import)

  • R은 일반적으로 csv 파일, R 전용 데이터 파일인 RData(확장자: .rda 또는 .rdata), 엑셀 파일 등으로 데이터를 입출력한다.
  • 이외에도 DB, Json, SPSS 파일 등 다양한 형태로 데이터 입출력 관리를 한다.
  • 이번 포스트에서는 csv, RData, SPSS, 엑셀 파일로 데이터를 관리하는 방법에 대해 학습해보도록 하겠다.
  • DB를 통해 데이터를 관리하는 것은 추후 RMySQL 코드를 다루면서 짚고 넘어가도록 하겠다.

 

 

디렉터리(Directory) 확인하기.

  • 디렉터리란, 다른 말로 폴더(Folder),  카탈로그(Catalog)라고도 하는데, 디렉터리라는 이 말보다 디렉터리를 부르는 다른 용어인 폴더라는 단어가 더 이해하기 쉬울 수 있다.
  • 디렉터리는 상위 디렉토리(부모 디렉토리)와 하위 디렉토리(자녀 디렉토리)로 구성된 트리 형태의 구조를 가지고 있다.
  • R에서 당신이 확인할 디렉터리는 바로 워킹 디렉토리(Working Directory)이다.
  • 워킹 디렉토리는 R에서 작업하는 파일들이 기본적으로 읽고 쓰이는 공간이다.
  • 디렉토리 관련 기본 코드
    • getwd()
      : 현재 워킹 디렉터리를 확인한다.
    • setwd("폴더 주소")
      : "폴더 주소"로 워킹 디렉토리를 잡아준다.
      ※ 만약 당신이 워킹 디렉터리의 주소를 폴더의 url 주소를 복사 붙여 넣기 한다면, 슬래쉬(/) 역 슬래쉬로(\) 잡혀서 들어가므로, 이를 바꿔주어야 한다.
setwd("D:/Rworkspace")
getwd()
## [1] "D:/Rworkspace"

 

 

 

파일을 가지고 와보자.

  • 파일 경로에 한글이 들어가 있는 경우, 오류가 발생할 수 있으므로, 경로와 대상 파일의 명칭을 반드시 영어로 바꿔주자.
  • list.file()
    : 워킹 디렉터리에 있는 파일 리스트를 가지고 온다.
    (만약 괄호 안에 다른 경로를 넣는다고 하면, 그 경로에 있는 파일 리스트를 가지고 온다.)
  • 파일을 가지고 오는 방법은 다음과 같다.
    (csv, excel, spss, txt, rdata 파일 모두 함수 안에서 파라미터로 불러오고자 하는 파일의 경로나, file.choose()로 파일을 클릭해서 가져올 수 있다. 아래 내용이 잘 이해가 안 될 수 있는데, 일단 넘기고 따라서 학습해보자)
    • 워킹 디렉터리 내 파일을 가지고 오는 경우: "파일명.확장자"
    • 가져오려는 파일의 위치가 가변적인 경우, "파일위치/파일명.확장자"로 불러오기
    • file.choose()를 사용하여 파일을 선택하여 불러오기 
  • R은 기본적으로 제공하는 데이터셋이 있으며, 해당 목록은 data() 함수를 통해서 볼 수 있다.

 

 

csv 파일을 가지고 와보자.

  • CSV(Comma-separated Values)는 말 그대로 쉼표(Comma)로 값들이 구분된 형태이다. 
  • csv 파일은 엑셀, SAS, SPSS, R, Python 등 데이터를 다루는 대부분의 프로그램에서 읽고 쓰기가 가능한 범용 데이터 파일이다.
  • csv 형식은 다양한 프로그램에서 지원하고 엑셀 파일에 비해 용량이 매우 적기 때문에 데이터를 주고받는 경우 자주 사용된다.
  • 단점으로는, csv파일은 쉼표로 구분자가 들어가 있으므로, 데이터 자체에 쉼표가 들어가 있는 경우, 데이터 취급이 곤란해진다(구분자를 탭 문자로 바꾼 TSV 등을 사용한다.)
  • read.csv()
    : csv 파일을 가지고 온다.
  • 주요 Parameter
    : read.csv(file, header = FALSE, sep = ",", na.strings = "NA", stringsAsFactors = TRUE, fileEncoding = "", encoding = "unknown")
    # 파일 이름 / 첫 행을 헤더로 처리하여, 컬럼의 이름으로 할지 여부 / 구분자 / 데이터에 결측 값이 있는 경우 대응시킬 값 지정 / 문자열을 펙터로 가지고 올지 여부 / 가지고 오는 파일의 인코딩 / 문자열을 표시할 때의 인코딩
  • stringsAsFactors는 가능한 FALSE로 하여 가지고 오자(Default = TRUE)이다. 만약, 디폴트 값 그대로 가지고 온다면, 모든 문자형이 Factor로 들어오기 때문에, 텍스트 데이터를 조작하기가 꽤 어려워진다. 만약, 텍스트 데이터가 단순한 범주형 척도로써 존재한다면, TRUE로 가지고 와도 큰 문제가 없다.
  • write.csv()
    : csv 파일로 저장한다.
  • 주요 Parameter
    : write.csv(data, file="", row.names=TRUE, encoding = "unknown")
    # 파일로 저장할 데이터 / 데이터를 저장할 파일명(경로) / 행 이름을 csv 파일에 포함하여 저장할지 여부 / 파일을 어떤 인코딩으로 저장할지
  • 먼저 list.files()를 실시하여, 워킹 디렉터리에 위치한 파일의 정확한 이름을 확인하자.

 

 

워킹 디렉터리에서 파일 이름으로 파일을 가지고 와보자.

  • list.files()를 보고 직접 타이핑해서 가지고 오자.
# 워킹 디렉토리에 있는 파일을 리스트업 해보자.
list.files()
##[1] "asdfsadf.html"      "asdfsadf.Rmd"       "exam_csv.csv"         "exam_exl.xlsx"      "exam_spss.sav"      "kyrbs2016.sav"     
##[7] "old_2011.csv"       "sda.html"           "sda.Rmd"            "ypdata_new_w10.sav"
  • 위 파일들에서 exam_csv.csv라는 csv 파일을 가지고 와보자.
  • 해당 csv 파일은 Office 365의 Excel을 이용해서 만든 파일이며, 파일의 구조는 아래 사진과 같다. 

  • 해당 파일을 불러와보자.
read.csv("exam_csv.csv", header = TRUE, sep = ",", na.strings = "NA", stringsAsFactors = TRUE)
##Error in type.convert.default(data[[i]], as.is = as.is[i], dec = dec, : '<82><82><98>'에서 유효하지 않은 멀티바이트 문자열이 있습니다
  • 자 아주 간단한 파일이지만, 갑자기 "Error in type.convet.default(data[[i]], as.is = as.is[i], dec = dec, : '<ec><82><ac><eb><82><98>' 에서 유효하지 않은 멀티바이트 문자열이 있습니다."라며 오류가 뜬다!
  • 위 오류가 발생한 이유는, office 365 엑셀의 인코딩 문제인데, 일반적으로는 fileEncoding과 encoding 파라미터를 손봐주면 된다.
  • 한글에 관련된 인코딩은 크게 3개가 있다.
    • utf-8
    • CP949
    • euc-kr
  • 아래와 같이 인코딩 파라미터를 잡아줘서 해결해보자.
  • 엑셀 파일을 저장할 때, CSV UTF-8(쉼표로 분리)(*.csv)로 해주었다.
read.csv("exam_csv.csv", header = TRUE, stringsAsFactors = TRUE, fileEncoding = "UTF-8", encoding = "CP949")
## Error in read.table(file = file, header = header, sep = sep, quote = quote, : 입력에 가능한 라인들이 없습니다
  • 위와 같은 또 다른 에러가 뜨면서 읽어오질 못하였다.
  • 위 문제 해결 방법은 아주 단순 무식하지만 확실한 방법과 약간 고급진 방법 2가지가 있다.

 

 

단순한 방법으로 해결해보자.

  • 위 문제는 오피스 365 엑셀에서만 발생하는 문제인데, 오피스 365를 쓰지 않으면, 애초에 발생하지 않는다.
  • csv는 ","가 구분자로 작용하여, 단어와 단어를 구분하는 형태이다.
  • 그렇다면 엑셀에서 만든 csv 파일을 txt에서 가져와서 인코딩 형태를 바꿔서 저장해보자.
  • 리눅스 환경이라면
    • "file -bi 파일명"으로 파일의 인코딩을 확인하고
    • "iconv -c -f 원래 인코딩 -t 바꿀 인코딩 파일명 > 새로운 파일명"으로 인코딩을 쉽게 바꿔줄 수 있다
  • 윈도우 환경이라면 "마우스 오른쪽 클릭 > 연결 프로그램 > 메모장"을 사용하면, csv 파일을 메모장으로 열 수 있다.

 

  • "파일 > 다른 이름으로 저장"으로 들어가서 인코딩을 확인해보자!
  • 보면 UTF-8(BOM)으로 돼있는데, 이 BOM이 문제다!
  • 인코딩을 UTF-8 또는 ANSI로 바꿔보자

 

  • 인코딩을 UTF-8로 한다면, fileEncoding 파라미터를 "UTF-8"로 바꾸면 된다.
  • 인코딩을 ANSI로 한다면, 따로 파라미터를 잡아주지 않아도 된다(CP949나 euc-kr)로 잡아줘도 된다.
    (인코딩에 대해서는 개념으로 추후 다시 한번 다루도록 하겠다.)
list.files()
##  [1] "asdfsadf.html"         "asdfsadf.Rmd"          "exam_csv.csv"         
##  [4] "exam_csv_ANSI.txt"     "exam_csv_encoding.txt" "exam_exl.xlsx"        
##  [7] "exam_spss.sav"         "kyrbs2016.sav"         "old_2011.csv"         
## [10] "sda.html"              "sda.Rmd"               "ypdata_new_w10.sav"
read.csv("exam_csv_ANSI.txt", header = TRUE, stringsAsFactors = TRUE)
##    name class math English Korean science
## 1  사나     1   80      70     65      90
## 2  다연     1   85      65     75      70
## 3  쯔위     1   70      90     65      60
## 4  모모     1   65      60     55      70
## 5  예림     2   80      70     65      55
## 6  현희     2   75      85     60      80
## 7  정은     2   90      60     70      85
## 8  혜원     2   65      80     75      80
## 9  준식     2   75      70     90      65
## 10 재성     3   70      90     65      85
## 11 민철     3   60      85     75      90
## 12 현택     3   75      65     80      70
## 13 현승     3   90      70     65      85
## 14 윤기     3   80      65     90      70
## 15 기훈     3   95      55     85      90
  • 위 방법이 가장 간단하면서도 조금 무식한 해결책이라고 할 수 있다.
  • 데이터도 정상적으로 잘 출력되었다.

 

 

 

조금 고급진 방법으로 해결해보자.

  • 개인적으로는 위의 방법을 추천하지만, 경우에 따라서 좀 더 고급진 방법을 써야 할 수도 있을 것이다.
  • 위 인코딩 문제는 간단하게 말해서 Windows에서 한글이 제대로 인식이 안되고, RStudio에서도 한글이 인식이 제대로 안돼서 발생하는 문제라고 할 수 있는데, R의 System 설정을 손대는 함수 중 언어를 손대는 함수인 Sys.locale()을 이용해서 이를 해결할 수 있다.
  • Sys.setlocale()
    : 로케일을 설정하는 함수로, 로케일은 사용자의 언어, 사용자 인터페이스의 언어를 정해주는 함수이다.
  • 주요 Parameter
    : Sys,setlocale(category = "LC_ALL", locale = "")
Sys.setlocale("LC_ALL", "C") # 언어를 제거해버리자
data = read.csv("exam_csv.csv", header = TRUE, stringsAsFactors = TRUE, encoding = "UTF-8")
data
##       X.U.FEFF.name class math English Korean science
## 1  <U+C0AC><U+B098>     1   80      70     65      90
## 2  <U+B2E4><U+C5F0>     1   85      65     75      70
## 3  <U+CBD4><U+C704>     1   70      90     65      60
## 4  <U+BAA8><U+BAA8>     1   65      60     55      70
## 5  <U+C608><U+B9BC>     2   80      70     65      55
## 6  <U+D604><U+D76C>     2   75      85     60      80
## 7  <U+C815><U+C740>     2   90      60     70      85
## 8  <U+D61C><U+C6D0>     2   65      80     75      80
## 9  <U+C900><U+C2DD>     2   75      70     90      65
## 10 <U+C7AC><U+C131>     3   70      90     65      85
## 11 <U+BBFC><U+CCA0>     3   60      85     75      90
## 12 <U+D604><U+D0DD>     3   75      65     80      70
## 13 <U+D604><U+C2B9>     3   90      70     65      85
## 14 <U+C724><U+AE30>     3   80      65     90      70
## 15 <U+AE30><U+D6C8>     3   95      55     85      90
Sys.setlocale("LC_ALL", "Korean") # 언어를 한글로 바꾸자.
## [1] "LC_COLLATE=Korean_Korea.949;LC_CTYPE=Korean_Korea.949;LC_MONETARY=Korean_Korea.949;LC_NUMERIC=C;LC_TIME=Korean_Korea.949"
data
##    X.U.FEFF.name class math English Korean science
## 1           사나     1   80      70     65      90
## 2           다연     1   85      65     75      70
## 3           쯔위     1   70      90     65      60
## 4           모모     1   65      60     55      70
## 5           예림     2   80      70     65      55
## 6           현희     2   75      85     60      80
## 7           정은     2   90      60     70      85
## 8           혜원     2   65      80     75      80
## 9           준식     2   75      70     90      65
## 10          재성     3   70      90     65      85
## 11          민철     3   60      85     75      90
## 12          현택     3   75      65     80      70
## 13          현승     3   90      70     65      85
## 14          윤기     3   80      65     90      70
## 15          기훈     3   95      55     85      90
  • 위 방법을 통하면, RStudio에서 출력되는 언어를 제거하고, 다시 한글로 출력시켜서, 우리가 원하는 결과가 도출되게 할 수 있다.
  • 개인적으로는 텍스트 파일로 열어서 인코딩을 바꾸는 방법이 쉬우니, 해당 방법을 추천한다.
  • 해당 오류는 오피스 365 버전에서만 발생하는 것으로 확인하였다(다른 버전에서도 발생하는 것은 아직까진 보지 못했다...)

 

 

 

이번엔 CSV 파일 형태로 내보 내보자.

  • write.csv()
    : 데이터를 csv 형식으로 저장한다.
  • 주요 parameter
    : write.csv(data, file = "파일 경로", quote = TRUE, row.names = TRUE, fileEncoding = "")
    # 저장하고자 하는 데이터, 파일의 경로, 문자형 데이터에 ""따옴표를 넣는다, 행 이름을 넣는다, 저장하는 파일의 인코딩
  • 위 parameter만 알아도 csv를 다루는데 큰 문제는 없으나, csv는 굉장히 자주 쓰게 될 파일 형식이므로, F1을 눌러서 자세한 설명을 보도록 하자.
data = data.frame(ID = c("A01", "A02", "A03", "A04", "A05"),
                  math = c(60, 80, 70, 90, 65))

write.csv(data, "test.csv", quote = TRUE, row.names = FALSE, fileEncoding = "CP949")

 

  • 위 코드를 실행하면, 워크스페이스에 내가 원하는 data가 내보내진 것을 볼 수 있다.

 

 

 이번 포스트에선 CSV 파일을 여는 방법과 인코딩 문제에 대해 학습해보았다. 인코딩 문제는 당신이 한국인이고, R을 다룬다면, 지겹게 마주할 수 있는 문제이며, 위의 방식에서 크게 벗어나질 않는다.

 다음 포스트에선 엑셀 파일을 가지고 오는 방법과 파일 경로를 이용해서 파일 관리를 하는 법을 간략하게 다뤄보자.

728x90
반응형
728x90
반응형

지난 포스트에서 기계학습(Machine Learning)에 대해 간략하게 알아보았다.
이번 포스트에선 기계학습을 수월하게 할 수 있게 해주는 텐서플로우(Tensorflow)에 대해 알아보도록 하자.

 

 

텐서플로우(Tensorflow)란?

  • 텐서플로우는 구글에서 2015년에 공개한 기계학습 라이브러리로, 일반인들도 기계학습을 사용할 수 있을정도로 난이도가 낮고, 아주 강력한 성능을 가지고 있다.
  • 단, 텐서플로우는 딥러닝 알고리즘인 인공신경망이 한 번 학습되기 시작하면 신경망의 구조가 고정되어버리기 때문에 특정 프로젝트에 최적화하여 사용하는데 한계가 있다.
  • 최적화까지 감안하여 기계학습을 하기 위해선, 신경망의 구조까지 스스로 학습하며 변하는 페이스북 인공지능팀에서 개발한 파이토치(PyTorch)를 사용해야한다(텐서플로우와 파이토치의 성능차이는 상당히 큰 편이다).
    • 텐서플로우는 참고 자료가 더 많고, 사용자가 파이토치보다 텐서플로우가 많은 편이므로, 텐서플로우를 먼저 학습하고, 그 후에 파이토치를 학습할 예정이다.
  • GPU, CPU 2가지 버전이 존재하며, GPU는 tensorflow-gpu라는 패키지를 따로 다운로드 받아야한다.
    • GPU는 NVIDIA의 CUDA를 사용하므로, NVIDIA 그래픽 카드가 필수이다.
  • 본 포스트에서는 텐서플로우 Version 2.0.0으로 학습할 예정이다.
  • 텐서플로우2는 Keras를 기반으로 작동한다.

 

※ CPU와 GPU를 왜 구분해서 사용하는 것일까???

  • CPU와 GPU의 차이를 간단하게 설명하자면 다음과 같다.
  • CPU는 아~~~주 머리가 좋은 친구로, 전교 10등 안에 들어가는 수학 천재인 친구다. 수능에서 4점짜리 문제들도 쉽게 풀정도로 어려운 수학 문제도 큰 힘을 들이지 않고 풀 수 있는 친구지만, 당연히 숫자가 적고, 한 번에 할 수 있는 일이 많지가 않다.
  • GPU는 기본적인 수학 능력을 갖춘 평범한 친구들이다. 수능에서 2점짜리 문제 같이 간단한 수학 문제라면 손 쉽게 풀 수 있지만, 어려운 수학 문제를 푸는데는 한 세월이 걸린다. 숫자가 1,000명 정도로 엄청나게 많다.
  • 자, 이를 더 간추려 말해보면 CPU는 머리가 좋지만 숫자가 적고, GPU는 머리는 평범하지만 숫자가 많은 친구들이다.
  • Python이나 R은 기본적으로 CPU 연산을 하며, CPU 연산을 하다보니 아무리 어려운 문제라 할지라도 크게 힘들이지 않고 풀 수 있지만, 머신러닝에서는 이야기가 달라진다. 딥러닝에서 사용되는 가장 대표적인 알고리즘인 인공신경망은 기본적으로 행렬 연산을 통해 계산되는데, 이러한 행렬 연산은 더하기, 빼기, 곱하기, 나누기와 같은 기본적인 사칙연산을 수십 만번 실시한다고 생각하면 된다.
  • 자, 사칙연산 수십 만번을 머리가 엄청 좋은 한 명에게 시키는 것과 평범하지만 사칙연산은 충분히 해내는 천 명에게 시키는 것, 이 둘 중 무엇이 더 효율적일까?? 당연히 사칙연산을 충분히 해낼 수 있는 천 명에게 문제를 주는 것이 훨씬 빠르지 않겠는가.
  • 이처럼 기계학습의 특징은 어려운 연산도 물론 있지만, 이 어려운 연산은 CPU에게 맡기면 되고, 쉬운 연산은 GPU에게 맡기는 방식을 사용한다. 즉, 컴퓨터의 자원을 이분화시켜 사용하는 것이 기계학습의 특징이다.

 

 

 

텐서플로우(cpu) 설치 방법

  • 텐서플로우만 설치하는 것은 난이도가 상당히 낮은 편이다.
  • 텐서플로우는 버전 2.0.0을 설치할 것이다.
    1. PyCharm의 UI를 이용해서 설치하기
      File > Settings > +버튼 >  tensorflow 검색 및 선택 > Specify version 체크 > 드롭박스에서 버전 2.0.0으로 선택 > Install Package 클릭
    2. 터미널에서 설치하기(아나콘다 가상환경을 만든 경우 *추천)
      cmd 실행 > conda env list(가상환경 목록 확인) > conda activate 가상환경이름 > pip install tensorflow==2.0.0

 

 

 

텐서플로우-gpu 설치 방법

  • tensorflow-gpu 설치를 위해서는 몇 가지 사전 작업이 필요하다.
    1. NVIDIA 그래픽 카드
    2. CUDA Toolkit 10.0 Version 설치
    3. cuDNN 설치
    4. PATH 설정
  • tensorflow-gpu는 gpu를 이용해서 연산하므로, 컴퓨터 환경에 gpu 셋팅을 해줘야한다.
  • NVIDIA 그래픽 카드가 설치되어있다는 전재하에 설치 해보도록 하겠다.
  • CUDA Toolkit의 버전은 11까지 나왔지만, 아직 호환성에 문제가 있는지 제대로 설치가 되지 않는다. 또한, 우리는 텐서플로우 버전 2.0으로 작업할 예정이므로, 이에 맞는 CUDA Toolkit Version 10.0을 사용해보도록 하자.
  • 설치 환경은 Windows이다.

 

 

1. CUDA Toolkit을 설치해보자.

CUDA Toolkit 10.0 버전 싸이트로 들어가자

 

CUDA Toolkit 10.0 Archive

Select Target Platform Click on the green buttons that describe your target platform. Only supported platforms will be shown. Operating System Architecture Distribution Version Installer Type Do you want to cross-compile? Yes No Select Host Platform Click

developer.nvidia.com

 

내 환경에 맞는 버전으로 다운로드 받자

  • Windows 환경에서 사용할 예정이다.
  • Windows는 10을 사용하고 있다.
  • 오프라인 환경에서도 사용할 수 있도록 Local로 다운로드 받겠다.
    (인터넷이 되는 환경이라면, 시간이 오래걸리므로 exe(network)로 다운로드 받도록 하자.)

 

이제 설치를 해보자.

  • CUDA  설치는 크게 어렵지 않다.
  • 따로 경로나 설정에서 손을 볼 것은 없으므로, 그냥 쭉 진행하면 된다.

 

 

 

2. cuDNN을 설치해보자.

 

 

NVIDIA cuDNN

NVIDIA cuDNN The NVIDIA CUDA Deep Neural Network library (cuDNN) is a GPU-accelerated library of primitives for deep neural networks. cuDNN provides highly tuned implementations for standard routines such as forward and backward convolution, pooling, norma

developer.nvidia.com

  1. Download cuDNN을 클릭한다.
  2. cuDNN은 로그인을 해야만 설치 가능하므로, 아이디가 없다면, 아이디를 만들고 로그인하도록 하자.

 

 

CUDA와 내 환경에 맞는 버전으로 설치하자.

  • CUDA v10.0으로 설치하였으므로, cuDNN은 v7.6.5.로 다운로드 받겠다.
  • Windows 10 환경으로 설치하겠다.

 

 

  • cuDNN을 CUDA가 설치된 위치에 덮어씌우도록 하자.
    • 만약  CUDA를 설치할 때, 따로 경로를 손대지 않았다면 아래 경로에 덮어 씌우면 된다.
    • C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0
    • 위 경로에 cuDNN 압축파일을 해제하여 나온 파일들을 덮어씌우자.

 

 

 

3. PATH를 설정해주자.

  • cmd에 들어가자.
  • 아래와 같게 타이핑 해주자
    • SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin;%PATH%
    • SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\extras\CUPTI\libx64;%PATH%
    • SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include;%PATH%
    • SET PATH=C:\tools\cuda\bin;%PATH%

 

 

 

위까지 작업을 마치면, tensorflow-gpu를 설치할 환경이 완료된 것이다. 만약 위 셋팅을 마쳤음에도 tensorflow-gpu가 설치되지 않는다면, Visual Studio를 설치해주거나 업데이트 해주도록 하자.

자 지금까지 텐서플로우를 사용할 수 있는 환경 셋팅을 모두 완료해보았다. 텐서플로우 설치는 pip install을 이용해서 설치하면 되며, 이에 대한 내용은 python 카테고리에서 패키지 설치법을 확인해보도록 하자.

다음 포스트에서는 텐서플로우를 쓰는법에 대해 차근차근 알아가보자.

728x90
반응형
728x90
반응형

기계학습(Machine Learning)이란?

사진 출처: 워너 브라더스 코리아

호아킨 피닉스 주연의 조커(Joker, 2019)란 영화를 본 적이 있는가?

이 영화에서 흥미로운 부분은 영화 밖 관객과 영화 안 관객이 조커에게 갖는 인식이 다르다는 것이다.

 훗날 조커가 될 아서 플렉은 정신 질환과 장애, 불안정한 일자리, 건강이 좋지 않은 홀어머니를 모시고 사는 편치 않은 삶을 살고 있지만, 다른 이들을 행복하게 만드는 사람이 되기 위해 노력하는 삶을 지내고 있다.

 지하철에서 만난 어린아이를 웃기기 위해 얼굴로 장난을 치거나, 웃긴 개그들을 정리해놓은 개그 노트를 만들고, 개그맨이라는 꿈을 향해 어떻게든 노력하며, 망상 속이긴 했지만 행복한 삶을 꿈꾸는 그런 사람이다.

 하지만, 사회는 아서 플렉에게 그리 호의적이지 않았고, 광대 분장을 하고 입간판을 들고 광고를 하는 그는 강도질을 당하거나, 건장한 백인 남성들에게 둘러싸여 위협을 받거나, 그의 잘못이 없음에도 불구하고 일방적으로 그를 해고해버리는 등, 아서 플렉을 둘러싼 사회는 그를 하루하루 꿈으로부터 밀어내고 있다.

 영화가 절정에 도달아 아서 플렉이 결국 조커로 각성하여, 추가 살인을 저지르고 폭동의 심볼이 되었을 때, 관객들은 사회의 부조리에 희생당하고 결국 사회에 폭발적인 분노를 표출한 조커에게 감정 이입하여 조커로부터 카타르시스를 느끼게 되며, 영화 안의 관객들은 조커라는 괴물에게 공포를 느끼게 된다.

 

 

 

 자, 이번엔 빅데이터 분석가의 관점에서 위 내용을 바라보도록 하자, 만약 살인범인 아서 플렉에 대해 영화 내부의 인물이, 그가 어째서 살인범이 되게 되었는지에 대해 분석해본다면 어떤 결과가 나올까?

 영화 안에 있는 인물들이 아서 플렉에 대해 얻을 수 있는 정보는 다음과 같다. "흡연자, 편모가정, 빈곤층, 정신 장애 보유, 신체 기형 보유, 일용직 노동자" 이러한 특징을 가진 사람들과 그렇지 않은 사람들을 비교해보니, "이런 특징을 가진 사람들이 그렇지 않은 사람보다 범죄를 저지를 확률이 높다! 그러니 이런 특성을 가지고 있는 사람들을 감시해야 한다!"라는 결론을 내릴 수 있다.

 영화 밖 관객인 당신은 위 결론에 대해 동의할 수 있는가? "아서 플렉을 괴물로 만든 것은, 그에게 친절하게 굴지 않은, 그를 둘러싼 사회지 않느냐!!"라는 생각을 하며, 반발을 할 수도 있을 것이다.

 우리가 접하는 대부분의 데이터는 어떠한 사건의 본질, 그 현상 자체에 대한 것이 아닌, 연구자의 의도, 관점, 생각, 가설이라는 주관이 섞여있는 상태에서 생성이 된다. 그러다 보니, 우리는 실제 현상으로부터 상당히 거리가 떨어져 있을지도 모르는 데이터를, 실체라고 오판할 수 있으며, 본질에 다가가고자 하는 시도인 분석이, 도리어 본질로부터 멀어지는 행동이 될 수도 있다.

 

 

 

어떻게 하면 위 문제를 해결할 수 있을 것인가?

 사람의 인식은, 어떠한 대상에 대하여, 자신의 지식, 경험 등을 기반으로, 대상을 분류하는 과정을 통해 이루어지며, 우리는 인식 능력이 좋은 사람을 "통찰력 있는 사람", "시야가 넓은 사람"이라고 종종 이야기한다.

 하지만, 사람이 가질 수 있는 지식, 경험은 매우 한정적이고, 그 양 역시 많지 않으며, 그 대상에 대해 받아들이는 정보 역시 온전하다고 할 수 없다. 장님에게 코끼리를 설명하라고 하면, 다리를 만진 장님은 코끼리에 대해서 "코끼리는 기둥이다!"라고 할 것이고, 코끼리의 꼬리를 만진 장님은 "코끼리는 밧줄이다!"라고 할 것이며, 코끼리의 코를 만진 장님은 "코끼리는 두꺼운 뱀이다!"라고 할 것인데, 눈이 보이는 우리 역시도 한눈에 보이지 않는 어떠한 대상에 대해, 심지어 눈에 보인다고 할지라도, 우리가 정의 내리고자 하는 어떠한 현상의 경계, 본질을 인식할 수 없다.

 예를 들어, 당신이 청년 실업의 본질을 알고 싶다면, 과연 그 청년 실업이라는 현상의 경계는 어디서부터 어디까지이겠는가? 그리고 당신이 비교적 정확한 경계를 찾아낸다고 할지라도, 그 경계가 불변하겠는가?

 

 

 

 자, 사람의 인식이 가진 한계가 위와 같다고 하면, 기계 즉, 컴퓨터에게 실제 현상에 관련된 것인지 아닌지는 모르겠지만 발생한 모든 데이터를 주고 그 데이터들을 분류해보라고 하면 어떨까?

 사람 한 명이 처리할 수 있는 데이터의 한계가 있고, 여럿이서 데이터를 공동으로 처리하는 경우, 의사소통의 문제 등으로 인해, 현상을 이해하는데 문제가 생길 수 있다면, 어마어마하게 좋은 컴퓨터에게 어마어마한 양의 데이터(빅 데이터)를 주고, 그 어마어마한 양의 데이터를 어떤 규칙에 따라 학습시키고, 데이터들을 분류해 나가다 보면, 조커와 같은 살인자 집단이 갖는 공통된 패턴을 찾아낼 수 있고, 보다 본질에 대한 명확한 이해를 할 수 있지 않을까?

 위 내용들을 단순화시켜 말하자면, 무엇인지 모르는 본질이 숨어있을 엄청나게 거대한 빅 데이터를, 컴퓨터에게 주고, 빅 데이터를 학습시켜서 컴퓨터가 그 안 속에 숨어있는 어떠한 패턴을 찾아내게 하는 것. 이 일련의 활동이 기계 학습(Machine Learning)이며, 우리는 데이터 자체에서 패턴을 찾아낼 수 있다.

 우리는 이 기계 학습을 통해서, 우리가 지금까지 알지 못했던 빅 데이터 속에 숨겨져 있는 어떠한 패턴, 이론, 변수 등을 찾아내어, 지금까지의 이론을 기반으로 하여 시작하는 연구에서, 실제 데이터를 통해서 이론을 찾아내는 연구로 현상에 대해 접근하는 방법을 바꿔서 다가갈 수 있다.

 이 것이 우리가 기계학습을 공부해야 하는 이유이며, 기계학습으로 해낼 수 있는 가능성이 바로 이것이라 말할 수 있다.

 

 

 

 자, 지금까지 기계 학습(Machine learning)이 무엇인지에 대해 이야기해보았다. 위키피디아나 책에서 나온 정의는 잘 와 닿지가 않아, 기계학습에 대한 필자의 생각을 정리해본 내용이다. 보다 자세한 내용은 위키피디아나 책을 찾아보길 바라며, 이제 천천히 기계학습에 대해 본격적으로 접근해보도록 하자.

 본 블로그에서 기계학습 부분은 파이썬을 이용해서 실습할 예정이므로, 다음 포스트에서는 파이썬 기계학습의 대명사인 텐서플로우(Tensorflow) 설치 방법에 대해 학습해보도록 하겠다.

728x90
반응형
728x90
반응형

 파이썬은 다루기 쉽고, 다양한 기능을 가지고 있고, 공짜라는 장점을 가지고 있지만, 인터넷이 가능한 환경이 아니라면, 패키지를 바로바로 설치하기가 불가능하다는 단점이 있다.

 그리고, 때때로 당신은 보안 수준이 상당히 높아서 인터넷이 사용할 수 없는 공간에서 파이썬을 써야할 수도 있다. 그렇다면, 파이썬은 인터넷만 안된다면 사용할 수 없는 것일까? 

 가장 좋은 방법은 외부에서 미리 필요한 모든 패키지들을 다운받아서 들어가는 것이겠지만, 보안수준이 높은 기관이라면, 이것이 불가능할 가능성이 높다.

 이외의 방법은 필요한 패키지들을 파일로 다운받아서, 이를 CD 혹은 USB로 반입하는 것인데, 이번 포스트에선 해당 방법에 대해 자세히 알아보도록 하겠다.

 

 

 

패키지를 파일로 다운로드 받아보자.

1. cmd에 들어가보자.

  • cmd를 관리자로 들어가자.

 

 

2. 내가 원하는 경로로 이동해보자.

  • 파이썬 패키지들이 다운로드될 경로를 정한다.
  • c 드라이브에 packages라는 폴더에 저장하도록 하겠다.
    (c 드라이브에 packages라는 폴더를 미리 생성해놓자.)
  • dir
    : directory의 약자로 현 위치에 있는 파일 및 폴더의 목록들이 나온다.

  • cd..
    : 현 디렉토리에서 하위 디텍토리로 이동한다.

  • cd packages
    : packages라는 파일로 디렉토리를 옮긴다.

 

 

3. 이동된 경로에 내가 원하는 패키지를 다운로드 받아보자.

  • 다운로드 받을 파일의 이름은 pip_packages로 임의로 정하였다.
  • pip download -d ./pip_packages/ pandas==1.0.1
    •  pip download: 패키지를 설치하는 것이 아닌 다운로드 하는 코드이다.
    •  -d: 디렉토리를 말한다.
    •  ./pip_packages/: 패키지가 설치될 파일이다(없는 경우 자동으로 생성 됨).
    •  pandas==1.0.1: 다운로드 받고자 하는 패키지와 그 패키지의 버전이다.
      (애초에 아나콘다를 인터넷이 안되는 곳에 가져가서 깔면 대부분의 패키지가 설치되므로, 아나콘다에 없는 패키지만 다운로드 받도록 하자.)
    • 버전을 따로 쓰지 않으면 최신 버전이 설치된다.
  • 다운로드 되는 패키지는 의존성이 있는 다른 패키지까지 전부 다운로드된다.

  • 위와 같이 방금 지정하였던 폴더에 관련 패키지들이 모두 다운로드 된 것을 볼 수 있다.
  • 다운로드 되는 파일 형태는 whl, tar 확장자이다.
  • 필요한 패키지들을 모두 다운로드 받았다면, 이를 압축파일로 묶어서 USB나 CD로 옮기도록 하자.

 

 

4. 패키지를 오프라인 환경에서 설치해보자.

  • 오프라인 환경에서 해당 파일에 들어있는 패키지를 다운받는 방법은 다음과 같다.
  • pip install --no-index --find-links=./pip_packages/ pandas==1.0.1
    • pip를 이용해서 가져올때 보는 곳을 PyPI가 아닌 ./패키지들이 들어 있는 파일 이름/ 으로 한다.
    • 띄어쓰기를 주의하도록 하자.
  • 다운받았던 패키지의 이름을 그대로 입력해주면 내가 원하는 패키지를 설치할 수 있으며, 의존성 있는 패키지 역시 자동으로 설치된다.

 

 

지금까지 내가 원하는 모듈을 다운로드 받는 방법에 대해 학습해보았다.

다음 포스트에서는 현재 파이썬에서 가장 핫한 모듈이자, 빅데이터 분석 시대의 꽃인 텐서플로우(Tensorflow)의 설치 방법에 대해 학습해보도록 하겠다.
(텐서플로우 설치 방법은 다른 패키지들과 달리 조금 더 과정이 필요하다.)

728x90
반응형
728x90
반응형

 

모듈(Module)이란?

 여러분이 파이썬을 본격적으로 활용하다보면 어느 순간부터인가 모듈, 모듈화한다 등의 말을 듣게 될 것이다. 모듈은 함수(Function), 변수(Variable), 클래스(Class)를 이쁘게 잘 모아서 잘 포장해놓은 것을 말한다. 

 그리고, 이렇게 이쁘게 잘 정리해놓은 모듈에서 우린 언제든지 내가 원하는 기능을 뽑아서 사용할 수 있다. 자, 만약 당신이 R을 미리 학습하고 왔다면, R의 라이브러리(Library)가 떠오르지 않는가?

 파이썬에서는 R의 library를 모듈(Module)이라 부르고, 우리는 언제든지 내가 필요한 모듈에서 내가 필요한 기능을 가져와서 사용할 수 있다. 앞서서 파이썬의 특징에 대해 설명할 때, 파이썬은 다양한 모듈(라이브러리라고 혼용하여 사용하였음.)들이 서로서로 의존성을 가지고 있으므로, 설치가 꽤나 어렵다고 했는데, 이번엔 그 어려운 모듈 설치를 한번 해보도록 하겠다.
(환경은 이전까지 학습한 PyCharm에 아나콘다 가상환경으로 진행할 것이다.)

 

 

 

 

모듈 설치 방법은?

아나콘다, 파이참 이 2가지를 설치한 우리에겐 총 3가지의 모듈 설치방법이 있다.

1) pip로 설치하기

  • 파이참 터미널에서 설치
    • 파이참 좌측 하단을 보면 Terminal이라는 버튼이 있으며, 해당 버튼을 누르면 cmd창을 파이참에서 바로 사용할 수 있다.
    • 우측의 Event Log에서는 코드 실행 후 발생한 특이사항들을 확인할 수 있다.
    • 우측하단의 Event Log 버튼도 동일한 기능을 갖는다.

 

  • cmd 창을 바로 이용한다.
    • Anaconda를 설치하면서 생긴 Anaconda prompt 창을 사용해보자(그냥 cmd 창도 가능).
    • 만약 이전 포스트의 내용까지 잘 따라왔다면, 아마 Anaconda prompt (가상환경이름)이라는 파일도 생겼을 것이다. 해당 파일을 클릭하면, 가상환경에 대한 prompt로 들어가게 된다.

 

  • pip install 모듈이름
    : "모듈이름"을 pip로 설치한다.
  • pip uninstall 모듈이름
    : "모듈이름"을 제거한다.
  • pip list
    : 현재 환경에 설치되어 있는 파이썬 모듈의 목록을 가지고 온다.
  • pip install --upgrade pip
    : pip를 최신 버전으로 업그레이드 한다(처음 pip를 쓰기 전이라면 꼭 해주도록 하자.)
  • pip --version
    : pip 버전 확인
  • pip란?
    • pip는 파이썬으로 작성된 패키지 소프트웨어를 설치, 관리하는 패키지 관리 시스탬이다. Python Package Index(PyPI)에서 많은 파이썬 패키지를 볼 수 있다(위키피디아).
    • 그러나, pip는 앞서 다른 포스트에서 말했듯, 모듈 설치 시 충돌이 발생하면 이 부분을 무시해버리기 때문에 설치가 제대로 안될 위험이 있다.
    • 그러므로, 가능한 conda를 써보도록 하자.

 

 

2) Conda 써보기

앞서 우리는 아나콘다를 깔았고, 가상환경을 깔았으므로, 아나콘다 prompt를 이용해서 설치해보도록 하겠다.

  • 아나콘다 가상환경 프롬프트인 Anaconda prompt (가상환경이름)으로 들어가보자.

  • 그냥 Anaconda의 명령 prompt는 (Base)... 로 시작하지만, 가상환경에서는 (가상환경이름).. 으로 시작한다는 차이가 있다.
  • 파이썬은 모듈을 설치 및 관리할 때, 충돌이 일어나기 쉬우며, 충돌이 발생한 경우, 그때 그때마다 파이썬과 관련된 모든 파일을 삭제하여야할 수도 있지만, 가상환경을 사용하면, 해당 가상환경만 제거하면 된다.
  • conda install 패키지이름
    : conda로 내가 원하는 패키지를 설치할 수 있다.
  • conda란?
    • 아나콘다의 패키지 관리자로, 패키지 설치 시 현재 환경과 충돌 여부를 확인한다. 
    • 일반적으로 "conda install 패키지이름"으로 패키지를 설치해보고, 그 후에 "pip install 패키지이름"을 사용하는 것을 추천한다.

 

 

3) 파이참에서 설치해보자

파이참에서 터미널을 사용하지 않고, 파이참만의 방식으로도 설치가 가능하다.

  • File > Settings을 클릭하고 들어가보자.
  • Project: 프로젝트이름 > Project Interpreter를 눌러보면 아래와 같은 화면이 뜬다.

 

  • + 버튼을 눌러보자.

  • + 버튼을 누르면 설치돼있는 모듈은 파란색으로, 설치가 아직 안된 모듈은 하얀색으로 표시가 된다.
  • 또한 Description을 보면 간략한 상세 정보를 볼 수 있다.
  • 우측 하단 Specify version을 체크하면, 내가 원하는 버전으로 설치할 수 있다.
  • 설치하고자 하는 패키지를 클릭하고 좌측 하단의 Install package를 클릭하면, 해당 패키지가 설치된다.
  • 설치 진행 상황은 파이참의 최하단부에서 확인 가능하다.
  • 설치 가능한 모든 패키지가 검색 가능하진 않다. 특정 패키지의 경우 파이참 UI를 이용해서 설치가 불가능하므로, 그런 경우 conda나 pip를 써서 설치하도록 하자.

 

 

만약, 파이썬 모듈을 설치하다가, 설치된 패키지들끼리 충돌을 일으키거나, 잘못된 패키지 설치 등으로 인해, 문제가 생겨서 환경을 처음부터 다시 셋팅하고자 한다면, 새로운 가상환경을 만들면 된다.

다음 시간엔 오프라인으로 파이썬 패키지들을 다운받는 방법에 대해 학습해보도록 하자.

728x90
반응형

+ Recent posts