작은하마

도커를 설치했으면 가장 기본적으로 DB부터 설치를 해보자! $sudo docker pull mysql $sudo docker images 위와같이 명령을 때리면 mysql의 최신버전을 docke images에서 확인 할 수 있다. 도커를 실행을 하게되면 관리차원에서 따로 로컬의 폴더를 마운트 해줘서 관리를 하면 편하다 따라서 $sudo cd /var/lib/ $udo mkdir mysql 디렉토리 하나를 생성 $sudo docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD="{패스워드}" --name mysql-jydb -v /docker/mysql/data:/var/lib/mysql mysql:latest --collation-server=utf8mb4_unicode..

sudo su apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - apt-key fingerprint 0EBFCD88 add-apt-repository "deb [arch=arm64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" apt-get update apt-get install docker-ce docker-ce-cli containerd.io #여기까지는 Docker설..

도커를 설치했으니 이제 사용을 해야하는데 GUI에 익숙해진터라 어디서부터 어떻게 해야할지 모르겠다. 필자는 Docker를 통해 airflow를 설치하는것이 목적이다. 아래의 페이지에서 필요한 도커의 이미지가 있는지 찾아보도록하자 https://hub.docker.com/search?q=&type=image Docker Hub hub.docker.com 정말 수많은 airflow관련 이미지들이 존재한다. 위의 airflow이미지가 가장 명확하고 Bitnami에서 나온터라 이것을 받기로 하였다. 서버에 접속하여 docker search [옵션] 를 이용한 방법도 존재한다. ==>보통은 이방법을 사용 $docker search [옵션] 만약 내가 많이 쓰고 익숙한 이미지를 내려받는다면 $sudo docker ..

GCP 오리건 f1-micro머신이 공짜인지라 에어플로를 설치해서 이것저것 해보려다 그냥 설치하면 뭔가 초기화를 계속시킬것 같아서 Docker를 설치하여 진행하려한다. $sudo apt update $sudo apt install apt-transport-https ca-certificates curl software-properties-common $curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - curl=>해당 경로(주소)에서 파일을 가져온다. apt-key add - 이 키들을 사용하여 인증된 패키지들은 믿을 만한 것으로 간주 키 리스트에 새로운 키 추가 → 지정된 파일 이름에서 키를 불러옴. 표준 입력의 경우..

인터넷에 찾아보니 IaaS, PaaS, SaaS를 좀 어렵게 설명을 해서 나에게 맞는 개념으로 다시 설명을 하려고 합니다. 1. IaaS(Infrastructure-as-a-Service) - AWS, Azure, GCP 와 같은 클라우드를 말함 2. PaaS(Platform-as-a-Service) - TreasureData, Oracle, Adobe와 같은 솔루션을 판매하는 회사 3. SaaS(Platform-as-a-Service) - Glue, MQ, Codecommit과 같이 IaaS에서 제공하는 솔루션

보호되어 있는 글입니다.

AWS에서 Boto3는 가장 기본으로 가져가야할 지식이 아닌가 한다. 최근 Glue에서 S3의 Log파일을 읽어와 DF에서 전처리를 진행하는 작업을 하나 만들었었는데 최근 이게 문제가 발생하였다. list_objects_v2를 사용하여 S3의 목록 갯수가 1000개가 넘어가면 1000개 이후의 목록들은 잘려서 가져오는데 여기서 문제가 발생하였다. 확인결과 리스트에 1130개 정도의 목록이 있었고 필요한 Log파일은 1000개를 제외한 130개 중 하나에 있었다. 여러가지 해결방안이 생각이 났다. 1. log파일의 경로를 파티셔닝 시켜서 1000개이상이 되지 않도록 만든다 => 날짜별 폴더를 생성하게 만들기 2. 파일을 오름차순, 또는 내림차순시켜서 해당파일을 1000개 안으로 가져오게 만든다. 3. 10..

https://programmers.co.kr/learn/courses/30/lessons/42626 코딩테스트 연습 - 더 맵게 매운 것을 좋아하는 Leo는 모든 음식의 스코빌 지수를 K 이상으로 만들고 싶습니다. 모든 음식의 스코빌 지수를 K 이상으로 만들기 위해 Leo는 스코빌 지수가 가장 낮은 두 개의 음식을 아래와 같 programmers.co.kr 코드를 짰는데 효율성에서 시간초과가 떠서 고민이다 def solution(scoville, K): answer = 0 for i in range(len(scoville)): if min(scoville)K: break return answer 더 효율적으로 짤수 있는 방법이 없을까??? 아시는분 댓글좀...남겨주세요

Glue에서 수많은 잡을 만들어서 일배치를 하고있는데 매일 저녁, 새벽 이 배치가 잘 끝났는지 아니면 오류가나서 중지된건지 매일 일일이 들어가서 보기가 너무너무 귀찮아 Slack으로 배치 결과를 보내기로했다. 원래는 오류가 나면 CloudWatch에서 SNS로 이메일로 오류를 전송해주거나 따로 JOB아래에 SNS로 결과를 이메일로 전달해주는 코드로 확인하곤 했는데 이번에는 Slack이라는 좋은 협업툴이 있어 이쪽으로 전송을 하게되었다. 빨간 박스에 있는 Job에서 각각의 log파일을 파싱하여 중단을 할지 뒷단의 MT Job을 진행시킬지 결정한다. result=s3.list_objects_v2(Bucket=bucket, Prefix=key_path) for item in result['Contents']:..

https://programmers.co.kr/learn/courses/30/lessons/17681 코딩테스트 연습 - [1차] 비밀지도 비밀지도 네오는 평소 프로도가 비상금을 숨겨놓는 장소를 알려줄 비밀지도를 손에 넣었다. 그런데 이 비밀지도는 숫자로 암호화되어 있어 위치를 확인하기 위해서는 암호를 해독해야 한다. 다 programmers.co.kr 위의 문제를 읽었을때 딱 논리 게이트를 생각하지 못한다면 아마 문제를 풀기가 어려울 것이다 먼저, 2진수를 비교하는 방법을 생각한다. 파이썬에는 고맙게도 bin(n)과 format(n,'b')의 기능이 있다. 둘중에 무엇을 쓸까 하다가 bin(n)을 쓰게되면 이진수 앞에 0b가 붙어버려서 제거를 해줘야 하기때문에 format(n,'b')를 쓰기로했다. 그..