본문 바로가기
  • Hello_
728x90
반응형

분류 전체보기98

[MySQL] MySQL에서 엑셀 파일 가져오기 본 포스팅에서는 MySQL을 활용하여 로컬에 있는 csv 파일을 가져오는 방법에 대해 포스팅하겠다. csv 파일 위 제목에서는 엑셀 파일 가져오기라고 명했지만 명확히 얘기하면 csv 파일을 가져오는 방법에 대해 얘기하고자 한다. 필자는 excel 파일과 csv 파일을 혼용해서 사용했었지만, MS excel을 활용하여 데이터를 가져올 때 큰 차이점이 있다는 것을 알았고 이를 명확히 구분 지어서 얘기를 해야 한다는 것을 알았다. 아래 링크를 통해 excel 파일(.xlsx)과 csv 파일(.csv)의 차이점을 간단히 구분 짓고 특징을 정리해 보았다. [Python] pandas로 xlsx 파일과 csv 파일 읽기 본 포스팅에서는 excel 파일의 확장자인 xlsx와 csv를 비교해 보고 padas로 각각 읽.. 2023. 2. 3.
[Python_Error] TypeError: first argument must be an iterable of pandas objects, you passed an object of type "DataFrame" 본 포스팅은 업무 중 발생했던 오류들을 어떻게 해결했는지 작성했다. TypeError: first argument must be an iterable of pandas objects, you passed an object of type "DataFrame" 위 에러는 pandas에서 제공하는 concat 함수를 사용할 때 발생한 오류이다. concat에 입력이 리스트 혹은 튜플이 아닌 형태로 들어갈 때 위와 같은 에러 메시지가 떴다. 에러가 발생한 코드는 다음과 같다. xray_excel_path = './new_annotation.xlsx' for i in range(10): ct_dict = {} ct_dict['name'] = ['ct_{}'.format(i+1)] ct_dict['dcm_paths.. 2023. 2. 3.
[Pytorch] torchvision을 활용하여 dataset 다운로드하기 본 포스팅에서는 pytorch의 torchvision을 활용하여 범용적으로 사용하는 데이터셋을 다운로드하고 이를 시각화 및 분석해 보겠다. torchvision torchvision은 컴퓨터 비전에서 많이 사용되는 데이터셋, 모델 아키텍처, 이미지 변환 등의 함수들을 제공하는 pytorch 라이브러리이다. torchvision의 세 가지 중점적인 기능 중 오늘은 데이터셋에 대해 말해보겠다. torchvision.datasets를 활용하여 오픈 데이터셋을 다운로드할 수 있으며, 컴퓨터 비전에서 많이 사용되는 오픈 데이터셋으로는 MNIST, CIFAR10, CIFAR100, STL10, SVHN 등이 있다. 위 데이터셋들 중 MNIST, CIFAR10, STL10, SVHN을 직접 다운로드해 보고 시각화 및.. 2023. 2. 2.
[Python] pandas로 xlsx 파일과 csv 파일 읽기 본 포스팅에서는 excel 파일의 확장자인 xlsx와 csv를 비교해 보고 padas로 각각 읽는 법에 대해 얘기하겠다. 'xlsx' vs 'csv' xlsx 파일은 이진파일로 구성이 되어 있으며 편집을 하는데 제한이 있다. 또한 메모리 사용량이 많지만 대용량 파일을 조작하는데 쉽다. 개발자가 프로그래밍으로 조작하기에는 상대적으로 어렵다. 반대로 csv 파일은 단순 텍스트 파일이다. 이러한 특징으로 인해 여러 텍스트 편집기에서 열 수 있고 메모리 사용량이 적다. 물론 텍스트 파일이기에 프로그래밍으로 조작하기에 용이하다. 다만 대용량 파일을 조작하는 데는 제한이 많다. 형식 편집기 메모리 사용량 대용량 파일 조작 프로그래밍 조작 유연성 EXCEL (.xlsx) 이진 형식 제한적 많음 쉬움 어려움 CSV (.. 2023. 2. 2.
728x90
반응형

티스토리툴바