애플에서 나온 "생각한다는 착각"이라는 자극적 제목의 #논문 추론모델의 한계점을 확인한 연구:
1. 문제가 복잡해질수록 추론과정이 길어지다가 일정 문턱 이상에서는 정답률도 떨어지고 추론 길이도 짧아지는 붕괴(collapse)현상이 나타남
2. 결정론적 문제의 해결 방법을 명시적 지시해도 못 따름 3가지 다른 성격의 복잡도 영역(complexity regime)이 관찰됨
1. 낮은 복잡도: 추론모델이 아닌 즉답모델이 더 잘함
2. 중간 복잡도: 추론모델이 더 잘함
3. 높은 복잡도: 붕괴가 일어나며 둘다 0에 가까운 정확도
사용모델: DeepSeek V1/R3, Sonnet 3.7 thinking on/off

Ironies of Automation이라는 1983년 seminal paper를 알게 되었는데, 2025년에도 주는 통찰 어마어마하다. 쭉 읽어봤는데 소름돋네 #논문
doi.org/10.1016/0005-1… "자동화가 잘 된 시스템일수록 사람이 할 일이 줄어들고, 사람을 훈련시키는데 비용이 더 많이 들어간다."

"쉬운 부분들을 자동화시키면 인간이 담당하는 어려운 부분이 더 어려워진다."

공장 자동화나 비행의 오토파일럿에 대한 내용이 기본이긴 한데, AI시대 의사 트레이닝에 대해서도 맞아들어감

조금 전 발표된 ChatGPT Deep Research 기능은 Plus 요금제로는 사용 불가. 200불씩 내는 Pro에서만 사용 가능이네. 구글만세 Deep Researcher에 대한 후기. 이 분은 본사 직원이고 사전사용이 가능했음. 가족의 암에 대한 리서치에 활용 사례

https://x.com/Felipe_Millon/status/1886205433469178191

중국 1100여 병원 6700여 명의 영상의학과 의사에게 설문. AI를 업무량이 많을수록, 업무량이 많은 경우, AI 수용도가 낮은 경우에 번이웃이 증가함. AI 쓰면 편해질 것 같은데 역설적인 결과가 나옴. #논문
jamanetwork.com/journals/jaman… 관련 연구에서 정상을 판독하는데는 시간이 감소하지만, 비정상 결과를 해석하고 조치하는데에 시간이 증가함. AI툴 사용법을 배우는 것이 부담스럽고, AI에 대체될 걱정, 동료와의 교류 감소 등이 원인으로 추정. AI툴 사용을 편하게 디자인 잘하고, 교육을 잘 시키고, 업무를 줄이도록 잘 적용해야함

어라 한투 미국 ETF 정보 긁어오는거 잠깐 해봤는데 이게 되네. 주문만 들어가면 되는데 샀다 팔면 0.5% 정도 수수료로 떼이는군

성대에서 요청받아 5회 강의. 200명 넘게 접속하고 질의응답도 30분 넘게 했네 1주차 질의응답
- R코드 없는 함수 쓰거나 예전버전 → 패키지 문서파일을 주고 일 시키면 잘 한다
- ChatGPT 논문 작성 시키면 구어적 표현 너무 많이 쓴다 → 프롬프트에 technical scientific writing해달라고 명시하거나 그냥 Claude 쓰시라

요즘 자주 쓰는 프롬프트 작성 방식.
- 자세한 지시를 줘서 일을 시킴
- 문제는 같은 지시를 줘도 형식이 매번 조금씩 달라짐
- 형식을 내가 원하는 형태로 수작업으로 수정
- 수정된 형식을 1-shot 또는 few-shot으로 주고 일을 시키면 일관성 있는 결과 얻을 수 있음. 반복적으로 하는 작업의 경우 프롬프트를 챗봇에게 다양한 방식으로 개선시킬 수 있는 방법과 예시를 보여달라고 하면 좋음. 어떻게 개선시키면 좋을지 아이디어를 얻을 수 있음.

이 #논문 너무 재미있다. 보통 챗봇한테 요약해달라고 해서 내용 파악하고 읽는데 초록만 보고 끊기 싫어서 처음부터 끝까지 한번에 다 읽었음. 텐센트에서 쓴 technical report로 다양한 페르소나를 만들어서 그걸 기반으로 synthetic data를 만드는 접근법 arxiv.org/abs/2406.20094
기본 컨셉은 세상에 있는 텍스트는 다양한 페르소나의 지식과 경험을 바탕으로 만들어진 산물이라는 것. 즉, 세상의 모든 텍스트는 세상에 존재하는 페르소나의 집합으로 압축 가능하고, 각 페르소나를 바탕으로 텍스트를 생성하면 world knowledge를 재현 가능함.

#LLM시대_논문작성법_워크숍 3주차. 2주차에 배운 LLM툴을 사용해본 경험을 이야기하기
- Gemini: 지식적인 걸 물어보면 잘 알려준다
- Elicit(인기!): 키워드가 정확하지 않아도 제일 잘 검색해준다. 논문 올리고 관련된 논문을 찾아주면 그 내용 바탕으로 채팅 가능. 컬럼 추가하기 최고다 - Litmaps: 키워드 검색 -> seed paper 선택 -> 맵 작성 -> 관련성 높은 것 선택 -> 맵 갱신 / 이렇게 검색하기 좋다
- ResearchRabbit: 논문 한두개를 기준으로 관련 논문 찾아서 훑어보기 좋다. 많으면 filter 걸어서. 오래된 레퍼런스를 잘 찾아줌
- SciSpace: 논문검색 결과 호불호 극명하게 갈림

오늘 신임교수 워크숍에서 질의응답 받아보면서 느낀건데, 사람들은 1-2년 뒤 성능의 챗봇을 생각하고 현재의 챗봇들을 사용하고 있는 것 같다. 예를 들어 논문을 주고 이 discussion에 쓸만한 레퍼런스를 달라고 하면, 거기에 필요한 중간 단계가 너무 많아서 "챗봇"으로는 원하는 결과가 안 나옴 거기에 특화된 agent를 만들어서 단계별로 필요한 동작들을 수행해서, LLM이 소화 가능한 작은 일의 단위를 만들어 맡기고, 단순 프로그램으로 해결할 부분은 따로 해결하고, 사람의 개입도 중간중간 넣어야 하고 그렇다. 이거 해줘!라고 외쳐서 그냥 해결하기엔 능력이나 도구가 약함.

AI가 선호하는 형용사, 부사를 이용해 AI가 작성한 텍스트를 감지하는 방법을 개발했고, 머신러닝 논문 리뷰 내용에 적용해보니 그 비율이 상당하더라는 #논문 13 arxiv.org/abs/2403.07183
기존의 AI text detection method
1. Zero-shot: closed model이 주를 이루는 상황에서 정확도를 올리기 어려움
2. Training-based: overfit, adversarial attack취약성, bias 등이 약점
3. Watermarking: 서비스 제공자가 기능을 넣어야 하고, 워터마크 넣느라 질이 떨어질 수 있음

LLM을 활용한 논문쓰기 강의 후에 자주 받는 질문 중 하나가 "국내 논문들은 논문 투고시 LLM 관련 정책이 어떻게 되나요?"이다. 생각날 때마다 한 번씩 검색해보는데 관련 자료가 잘 안 나옴. 관련 survey study를 직접 노가다로 하나 해볼까 싶네 KCI 등재 학술지 의약학 분야 논문은 537건 ㅋㅋㅋㅋ 혼자 하기엔 너무 많네. 일정 metric으로 상위100개만 조사해보는 정도는 가능할 듯

지난 1년간 생각해보면 LLM이 어마어마하게 발전했는데, 일반 대중의 이용 수준의 발전은 따라오질 못하고 있다는 느낌이다. 가장 큰 원인은 ChatGPT 무료버전을 조금 써보고 거기서 느끼는 한계점을 LLM 전체의 한계점으로 단정지어버리고 더이상 안 쓰게 되는 것이라고 생각한다. 의예과 학생들에게 구체적인 프롬프트를 제공하고 그에 맞춰 공부한 뒤 발표하는 방식의 flipped learning 수업을 진행한 뒤 받은 설문인데, 안내 자료에 2가지 이상의 AI챗봇을 활용해보라고 안내되었음에도 대다수는 1가지만 이용함. 아마도 무료 ChatGPT-3.5를 이용했을 것이다.

ChatGPT 유료기능 쓰면 뭐가 좋나요?라는 질문을 매번 받아서 정리해보려고. 2023년 10월 14일 무료로 사용하는 버전이 GPT-3.5이고, 유료로는 GPT-4를 사용할 수 있음. 4버전이 속도가 좀 더 느리지만 전반적인 성능이 더 높다. 특히 한국어는 넘사벽 수준으로 차이가 많이 남. 초록색 아이콘이 3.5, 보라색 아이콘이 4 (예전에는 보라색 대신 검정색이었음)

공부를 어떻게 하는 것이 효율적인가?라는 질문에 답하기에 좋은 리뷰 https://t.co/7MVmNuEuSA…itiveresearchjournal.springeropen.com/articles/10.11…
1. spaced practice
2. interleaving
3. retrieval practice
4. elaboration
5. concrete examples
6. dual coding
지금까지 봐왔던 키워드들이 다 있네 ㅎㅎ 한자 교재 만들 때도 이런 컨셉들을 많이 참고했음

주말에 말모님과 어린이들 교육 관련 대화
- 당신은 애들 의대 보내고 싶어?
- 공부 열심히 하다가 성적 되고 자기가 가고 싶으면 보내도 괜찮지 않을까?
- 적당한 시기에 방향성을 잡고 적극 추진하자는 소리지?
- ㅇㅇ
- 그 시기가 초5래
- ???
- 늦어도 초5래
- ;;;
- 지금이라고
- ㅜㅜ 문제는 부부가 기획된 로드맵을 따라 입시를 준비한 적이 없이 수능 잘 봐서 대학을 잘(?)간 케이스라 은근한 거부감이 있음. '시험이 어떤 형태로 나와도 결국은 잘 하는 사람이 성적 잘 나오는 것 아닌가'하는 생각이 깔려있다.

에어컨 시험가동 중인데 거실 에어컨 리모컨이 작동 안 함. 점검 시작 전극에 배터리 누액이 묻어있어서 일단 IPA로 칫솔질 했으나 여전히 작동 안 함. 클립형인 것 같은데 힘을 줘서 열기가 너무 힘든 구저 ㅜㅜ 내부를 봐야 하는데..

좋은 질문을 하도록 유도하는 GPT-3 기반 챗봇을 9-10세 어린이들에게 테스트한 결과 효과가 있었다는 논문
arxiv.org/abs/2211.14228 Introduction
Graesser에 의하면 질문은 convergent question(이미 알고 있는 것을 확인)과 divergent question(추가로 새로운 정보를 알기 위한 질문)으로 나눌 수 있다. epistemic curiosity와 관련 있는 것은 후자

ChatGPT를 활용하는 형태의 과제 추천 3가지. ChatGPT가 나온 직후에 올라왔던 글인데, 생각나서 다시 찾아봄. 지금 읽어봐도 탁월한 통찰력이다. papers.ssrn.com/sol3/papers.cf… 1. AI에게 한 개념을 적용할 수 있는 상황 3가지를 주고 적용해서 설명해보라고 시킴.
- 학생은 AI의 설명 3가지를 읽어보고 A,B,C로 평가
- C를 받은 내용은 문제점이 무엇인지, 어떻게 개선할 수 있는지 기술
- A를 받은 내용은 어떤 점을 잘 했는지 기술

선생님 입장에서 교육에 ChatGPT를 어떻게 활용하면 좋을지에 대한 글. papers.ssrn.com/sol3/papers.cf… 1. 한 개념을 적용할 수 있는 여러가지 예시를 생성
2. 어떤을 개념을 설명할 수 있는 여러가지 방법을 제시
3. 간단하게 볼 수 있는 퀴즈와 풀이를 생성
4. 수업 직후 어려웠던 내용에 대한 주관식 설문을 받아 그걸 요약해서 뭘 보충하면 좋을지 제시

트위터 개발자 페이지에서 프로젝트 생성/삭제/수정이 불가능한 현상이 있어서 아무것도 못함... ㅜㅜ 개발자 커뮤니티 보니까 똑같은 현상을 겪는 사람들이 많이 있나보네 프로젝트, 앱은 생성이 가능한데 API가 계속 오류라고 함. When authenticating requests to the Twitter API v2 endpoints, you must use keys and tokens from a Twitter developer App that is attached to a Project