전체 글

우분투 이미지 파일 다운로드VMware Workstation Pro 17 설치를 완료했으면 우분투의 이미지 파일을 다운받아야 한다. (VMware Workstation Pro 17 설치과정은 이 링크에 설명되어있습니다.)다음 링크에 접속한다. https://ubuntu.com/download https://ubuntu.com/download ubuntu.com Download Ubuntu Desktop을 선택한다.  여러 버전을 다운로드할 수 있는데 원하는 버전을 선택해 주면 바로 다운이 진행된다. 본인은 장기 지원이 되는 LTS 버전을 선택해 주었다. 이미지 용량이 커서 파일 다운에 시간이 조금 소요될 수 있다.  다운이 완료된 모습이다.   VMware에서 우분투 가상환경 구축VMware를 실행해 준..

오류VMware를 종료하고 다시 실행하려는데 다음과 같은 화면이 나타나면서 실행이 되지 않았다.  해결 방법해결 방법은 간단하다. 실행하고자 하는 실행파일 폴더에 들어가서 VMware virtual machine configuration 파일을 메모장으로 열어준다. 본인의 경우는 C:\Users\user\Documents\Virtual Machines\Ubuntu 64-bit-24.04 경로에 파일이 존재하였다.    다음과 같이 msk.enable3d = "TRUE" 를 "FALSE"로 변경해 주면 된다.  다시 실행해보면 다시 제대로 실행되는 것을 확인할 수 있다.   Referencehttps://sf-jam.tistory.com/149

라즈베리파이에 원격 연결을 하기 위해서 VMware를 다운 받게 되었다. VM 다운로드 받는 방법은 다음과 같다.  VMware Workstation Pro 17 다운로드VMware Workstation Pro: Now Available Free for Personal Use - VMware Workstation Zealot VMware Workstation Pro: Now Available Free for Personal UseVMware Desktop Hypervisor products Fusion and Workstation are used by millions of people every day to run virtual machines on their Windows, Linux and Mac c..

(2018) [BCQ] Off-Policy Deep Reinforcement Learning without Explorationhttps://arxiv.org/abs/1812.02900Scott Fujimoto, David Meger, Doina PrecupAbstract많은 강화학습 응용은 고정된 데이터 배치에서 학습해야 하며, 추가적인 데이터 수집이 불가능함.표준 Off-policy 알고리즘(DQN, DDPG)은 현재 정책과 상관된 데이터가 없으면 학습할 수 없으며, 고정된 배치 설정에서 효과적이지 않음.Batch-Constrained Reinforcement Learning을 제안하며, 에이전트가 행동 공간을 제한하여 주어진 데이터와 On-policy에 가깝게 행동하도록 유도함.BCQ 알고리즘은 연..

💡 offline RL constraint 방식 구분 1. 분포 제약(Distribution Constraint)학습된 정책이 행동 정책의 분포와 유사한 분포에서 동작을 선택하도록 강제하는 방식해당되는 알고리즘: BEAR (Batch-Constrained Q-learning), BRAC (Behavior Regularized Actor Critic)동작 방식: 분포 제약은 행동 정책(behavior policy)이 생성한 상태-동작 분포를 기반으로 학습된 정책이 유사한 상태-동작 쌍을 선택하도록 한다. 학습된 정책이 기존 행동 정책의 동작 패턴을 유지하게 함으로써, 데이터셋의 분포를 벗어나지 않도록 제약한다.특징정책이 데이터셋 분포 내에서만 동작을 선택하도록 강제한다.정책이 확률적으로 행동 정책과 비슷..

하이브리드 선박 모델링을 공부하던 중 각각의 구성과 모델 기본이 되는 수식을 살펴보기 위해 한 논문에 나온 모델링 부분을 정리해보았다. 본 포스팅에 정리된 모델은 이 논문을 참고하였다. 하이브리드 선박 구성디젤 엔진전기 모터배터리 팩기어박스특징선박의 디젤 엔진과 전기 모터가 선박이 항해하는 동안 동력을 공급하는 추진 장치를 구성디젤 엔진에 잉여 전력이 있을 경우 전기 모터가 기어박스를 통해 구동되어 전기를 생산하여 배터리를 충전할 수 있음  하이브리드 동력 시스템 모델링배터리 모델충전 상태를 나타내는 식$Q_0$ : 초기 배터리 용량$Q$ : 배터리의 총 용량$I$ : 출력 전류현재 SOC 값은 초기 배터리 용량에서 현재까지 사용한 출력 전류의 합을 뺀 값으로 나타낼 수 있다. 배터리 전압과 출..

하이브리드 차량 모델링 코드를 사용할 일이 있어서 코드를 자세히 분석하고 정리하였다. 분석한 모델링 코드는 하이브리드 차량 중에서도 Toyata의 Prius 모델로 여러 하이브리드 시스템 중에서도 직병렬 하이브리드 시스템이다. 하이브리드 차량 구동 원리(직렬, 병렬, 직병렬, 플러그 인) 코드는 링크를 참조하였다.자동차 시스템을 잘 알지는 못하지만 하이브리드 시스템 이해를 위해 정리해보았다. import 라이브러리"""the Model of Prius"""import numpy as npfrom scipy.interpolate import interp1d, interp2dimport mathimport scipy.io as scioinit: 기본 파라미터 초기화class Prius_model(): ..

하이브리드 해양 추진 시스템은 두 가지 주요 구동 방식인 직렬과 병렬 하이브리드 시스템으로 나뉜다. 각각의 방식은 선박의 크기, 용도, 요구 사항에 맞춰 선택된다.하이브리드 차량 추진 시스템과 원리는 동일하지만, 정리되어 있는 논문 등을 활용해서 다시 정리해 보았다. 하이브리드 차량 구동 원리(직렬, 병렬, 직병렬, 플러그 인)1. 직렬 하이브리드 시스템직렬 하이브리드 시스템에서는 연소 엔진과 프로펠러 샤프트가 직접 연결되지 않는다. 엔진은 발전기를 구동하여 전기를 생산하고, 이 전기는 전기 모터를 통해 프로펠러를 구동한다. 즉, 모든 추진은 전기 모터를 통해 이루어지며, 엔진은 배터리를 충전하거나 전기를 생산하는 역할을 한다. 이 방식은 엔진이 항상 일정한 속도로 작동할 수 있어 연료 효율성이 높다. ..