작은하마

https://cloud.google.com/bigquery/docs/access-control 사전 정의된 역할 및 권한 | BigQuery | Google Cloud 의견 보내기 사전 정의된 역할 및 권한 이 페이지에서는 BigQuery의 ID 및 액세스 관리(IAM) 역할과 권한에 대한 정보를 제공합니다. 각 BigQuery 관련 제품과 관련된 역할과 권한을 포함합니다. BigQuery cloud.google.com IAM의 bigquery.jobs.created의 권한이 필수적이며 해당 사용자에게 권한 부여 후 권한을 줄 DataSet에서 DataSet공유를 통하여 BigQuery 데이터 뷰어 nm.bigquery.jobcreate권한을 부여한다.

CentOS가 대부분의 클라우드에서 사용하는 OS라 CentOS도 공부할겸 겸사겸사 Kafka도 설치해보고 하려한다. 먼저 Docker-compose를 설치하기전에 Docker의 설치가 선행되어야 한다. 출처 - https://jsonobject.tistory.com/532 CentOS 7, Docker 및 Docker Compose 설치하기 개요 이번 글에서는 CentOS 7에서 docker , docker-compose 를 설치하는 방법을 소개하고자 한다. Docker 설치 docker를 사용하면 운영체제와 독립적인 이미지를 인스턴스로 올려 컨테이너로 작동시킬 수 있 jsonobject.tistory.com # Docker 저장소 설치 $ curl -fsSL https://get.docker.com/..

도커를 설치했으면 가장 기본적으로 DB부터 설치를 해보자! $sudo docker pull mysql $sudo docker images 위와같이 명령을 때리면 mysql의 최신버전을 docke images에서 확인 할 수 있다. 도커를 실행을 하게되면 관리차원에서 따로 로컬의 폴더를 마운트 해줘서 관리를 하면 편하다 따라서 $sudo cd /var/lib/ $udo mkdir mysql 디렉토리 하나를 생성 $sudo docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD="{패스워드}" --name mysql-jydb -v /docker/mysql/data:/var/lib/mysql mysql:latest --collation-server=utf8mb4_unicode..

sudo su apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - apt-key fingerprint 0EBFCD88 add-apt-repository "deb [arch=arm64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" apt-get update apt-get install docker-ce docker-ce-cli containerd.io #여기까지는 Docker설..

도커를 설치했으니 이제 사용을 해야하는데 GUI에 익숙해진터라 어디서부터 어떻게 해야할지 모르겠다. 필자는 Docker를 통해 airflow를 설치하는것이 목적이다. 아래의 페이지에서 필요한 도커의 이미지가 있는지 찾아보도록하자 https://hub.docker.com/search?q=&type=image Docker Hub hub.docker.com 정말 수많은 airflow관련 이미지들이 존재한다. 위의 airflow이미지가 가장 명확하고 Bitnami에서 나온터라 이것을 받기로 하였다. 서버에 접속하여 docker search [옵션] 를 이용한 방법도 존재한다. ==>보통은 이방법을 사용 $docker search [옵션] 만약 내가 많이 쓰고 익숙한 이미지를 내려받는다면 $sudo docker ..

GCP 오리건 f1-micro머신이 공짜인지라 에어플로를 설치해서 이것저것 해보려다 그냥 설치하면 뭔가 초기화를 계속시킬것 같아서 Docker를 설치하여 진행하려한다. $sudo apt update $sudo apt install apt-transport-https ca-certificates curl software-properties-common $curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - curl=>해당 경로(주소)에서 파일을 가져온다. apt-key add - 이 키들을 사용하여 인증된 패키지들은 믿을 만한 것으로 간주 키 리스트에 새로운 키 추가 → 지정된 파일 이름에서 키를 불러옴. 표준 입력의 경우..