/dev/null 2>&1
·
Programming
What does "/dev/null" mean at the end of shell commands What is the difference between the following commands? ssh myhostname "command1; command2;...commandn;" 2>/dev/null ssh myhostname "command1; command2;...commandn;" what does 2> mean? what... stackoverflow.com /dev/null 리눅스에서 위 파일은 항상 비어있다고 한다. 그러니깐 예약어 같은 느낌이라고 생각하면 될 것 같다. 이 곳으로 전송된 결과는 모두 버려진다는 특징을 가지고 있다. 2 > &1 리눅스 표준 입출력 리다이렉션 쉘에서 키보드..
Crawling with Selenium & BeautifulSoup
·
Programming
최근 사내에서 자동화 스크립트를 작성할 때 사용했던 Selenium과 BeautifulSoup 관련 기록을 남겨둔다. 1. Selenium은 PC 성능 영향을 많이 받는다. PC에서 실제 브라우저를 사람 대신 작동하는 방식으로 진행되기 때문에 상황에 따라 적절한 대기 방법을 사용해서 코드를 멈춰줄 필요가 있다. 사용자 환경 기준으로 맞춰줘야 한다. 2. 상황에 맞는 적절한 대기를 사용해야 한다. 셀레니움 wait 개념 이해하기 (implicitly wait VS explicitly wait) - 뻥뚫리는 파이썬 코드 모음 이 문서는 셀레니움 wait 에 관한 implicitly wait 와 explicitly wait 에 대해서 다루고 있습니다. 셀레니움 사용법 전반에 대해서 알아보시려면 셀레니움 크롤러..
M1 맥북에서 Pandas 사용하기 with Anaconda3
·
Programming
요약 M1 맥북에서 Python은 지원하지만 기존 라이브러리 호환성에 문제가 있다. M1용 Python이 있지만 몇몇 데이터 분석 관련 라이브러리(Numpy, Pandas)는 사용할 수 없다. (21.03.29. 기준) Anaconda를 이용해 기존 라이브러리들을 지원하는 Python Runtime환경을 Interpreter로 사용하자. 설명 기존에 윈도우 환경에서 업무로 Python과 Pandas 라이브러리를 사용하고 있었다. 무심코 맥북으로 테스팅을 해보려고 Pandas를 설치했는데 무한 로딩 증상이 생겼다. 현재 맥북에선 M1 호환 Python을 설치해서 사용하고 있었는데, 아무래도 기존 라이브러리들, 특히 데이터 분석, 머신러닝 등 뭔가 C 코드를 사용해서 고속 연산을 하고 있을 것 같은 라이브러..
pandas csv 읽기/쓰기 인코딩 정리(read_csv, to_csv)
·
Programming
요약 pandas는 python에서 제공하는 데이터 처리, 분석에 사용되는 라이브러리다. csv, xls등 table 기반 데이터를 Dataframe이라는 자료구조로 가져와 다양한 조작을 할 수 있다. 최근에 회사 작업으로 table 기반 데이터를 조작해야 할 일이 있었는데 pandas의 함수 중 하나인 read_csv를 이용해 csv파일을 읽을 때 발생하는 한글 깨짐과, to_csv를 이용해 csv파일을 생성했을 때 Excel에서 한글이 깨지는 조건을 정리해봤다. 정말 단순한 옵션으로 했기 때문에 모든 경우에 통용되지 않겠지만, 원리를 이해할 겸... 소스 코드 # dict으로 테이블에 들어갈 데이터를 구성 # key값은 column 이름이, list에는 row 데이터가 들어간다. temp_dict =..
Linux 02
·
Programming
리눅스 프로세스 상태 전이 & 코드 리눅스 프로세스2 이번 글에서는 이전에 리눅스 프로세스에 관한 설명에 추가 내용을 알아보도록 하겠습니다. 이전 리눅스 프로세스 관련 내용은 아래에 링크를 참고 합니다. 2017/08/29 - [서버운영/Linux] - 리눅스 gsk121.tistory.com 프로세스 상태 전이 > 도리의 디지털라이프 I. 프로세스 상태 전이도 가. 프로세스 상태 전이도 멀티 프로세스 시스템 사용 시 프로세스 생성 ~ 종료까지 성능 최적화를 위한 프로세스 제어 기법 나. 프로세스 상태 상태 설명 생성 (Created) blog.skby.net cd proc/sys/kernel # 이 시스템에서 동시에 존재할 수 있는 프로세스의 최대 갯수 # 좀비 프로세스가 많아져서 pid_max에 가까..
Linux 01
·
Programming
tty date > /dev/pts/0 date > /tmp/date.txt cat /tmp/date.txt 진짜 기초 기초 기초 명령어 # 에코 내용으로 txt 파일을 만들기 echo 'Hello World' >> sample.txt # a를 복사해서 b라는 이름의 파일로 만들기 cp sample.txt test.txt # 디렉토리 생성 mkdir src # 해당 파일을 해당 디렉토리로 옮기기 mv sample.txt src # 원본을 복사해서 타겟이름으로 만들기, -r 은 디렉토리 내부 내용도 포함 cp -r src tgt # 원본이름을 타겟이름으로 바꾸고 대상은 이것이다. rename src src_old src # 이것도 동일한 기능을 한다 mv src src_old # 해당 파일을 삭제하는데, ..